[논문 리뷰] Heuristic Domain Adaptation

Shuhao Cui, Xuan Jin외 3명|arXiv (Cornell University)|2020. 11. 30.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 히우리스틱 도메인 적응 프레임워크를 제안하며, 가설의 타겟 리스크를 소스 리스크, 이상 동시 가설 리스크, 도메인 차이 리스크를 사용하여 경계한다. 가설을 히우리스틱 구성요소로 분해함으로써 이론적 리스크 경계를 통해 도메인 간 일반화를 향상시키며, 주요 기여는 분포 이탈을 고려한 확률적 일반화 경계이다.

ABSTRACT

In visual domain adaptation (DA), separating the domain-specific characteristics from the domain-invariant representations is an ill-posed problem. Existing methods apply different kinds of priors or directly minimize the domain discrepancy to address this problem, which lack flexibility in handling real-world situations. Another research pipeline expresses the domain-specific information as a gradual transferring process, which tends to be suboptimal in accurately removing the domain-specific properties. In this paper, we address the modeling of domain-invariant and domain-specific information from the heuristic search perspective. We identify the characteristics in the existing representations that lead to larger domain discrepancy as the heuristic representations. With the guidance of heuristic representations, we formulate a principled framework of Heuristic Domain Adaptation (HDA) with well-founded theoretical guarantees. To perform HDA, the cosine similarity scores and independence measurements between domain-invariant and domain-specific representations are cast into the constraints at the initial and final states during the learning procedure. Similar to the final condition of heuristic search, we further derive a constraint enforcing the final range of heuristic network output to be small. Accordingly, we propose Heuristic Domain Adaptation Network (HDAN), which explicitly learns the domain-invariant and domain-specific representations with the above mentioned constraints. Extensive experiments show that HDAN has exceeded state-of-the-art on unsupervised DA, multi-source DA and semi-supervised DA. The code is available at https://github.com/cuishuhao/HDA.

연구 동기 및 목표

• 소스 및 타겟 분포가 다를 때 발생하는 도메인 이탈 문제를 해결하기 위해.
• 소스 리스크 및 도메인 차이 리스크를 사용하여 가설의 타겟 리스크를 경계하는 이론적 프레임워크를 개발하기 위해.
• 가설을 덧셈 구성요소로 분해함으로써 가설 공간 내 히우리스틱 검색 전략을 가능하게 하기 위해.
• 이deal joint 가설과 가설 간의 차이를 활용하여 타겟 리스크를 최소화하기 위해.
• 분포 이탈을 고려한 확률적 일반화 경계를 제공하기 위해.

제안 방법

• 소스 및 타겟 분포에서 가설 F의 리스크를 각각 ϵS(F) 및 ϵT(F)로 수식화한다.
• 분포 S 하에서 두 가설 F1 및 F2 간의 불일치를 ϵS(F1, F2) = E[(F1(x) - F2(x))²]로 정의한다.
• 소스 리스크와 타겟 리스크의 합을 최소화하는 이상 가설 F*를 정의한다: F* = argmin_F [ϵS(F) + ϵT(F)].
• 타겟 리스크에 대한 확률적 경계를 유도한다: ϵT(F) ≤ ϵS(F) + [ϵS(F*) + ϵT(F*)] + |ϵS(F, F*) - ϵT(F, F*)|.
• 가설을 F = G + H로 분해함으로써 경계를 히우리스틱 검색에 적용한다. 여기서 F, G, H ∈ H이며, 이는 구조화된 가설 탐색을 가능하게 한다.
• 차이 항을 사용하여 가설의 소스 및 타겟 행동 간의 발산을 측정하고, 적응을 이끄는 데 사용한다.

실험 결과

연구 질문

• RQ1 소스 리스크 및 도메인 차이 리스크를 사용하여 가설의 타겟 리스크를 어떻게 경계할 수 있는가?
• RQ2 이deal joint 가설 F*는 도메인 간 일반화 오차를 최소화하는 데 어떤 역할을 하는가?
• RQ3 소스 및 타겟 분포 하에서 가설 간 불일치는 모델 이행 가능성에 어떻게 영향을 미치는가?
• RQ4 가설의 히우리스틱 분해(F = G + H)가 도메인 적응 성능을 향상시킬 수 있는가?
• RQ5 분포 이탈 하에서 도메인 적응에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 타겟 리스크 ϵT(F)는 소스 리스크, 이상 동시 리스크, 소스 및 타겟 불일치 항 간의 차이의 합으로 경계된다.
• 이 경계는 분포 이탈이 모델 성능에 미치는 영향을 정량화함으로써 도메인 적응에 대한 이론적 기반을 제공한다.
• 차이 항 |ϵS(F, F*) - ϵT(F, F*)|는 도메인 간 가설 행동의 발산을 포착하며, 이를 최소화해야 한다.
• F = G + H로 분해함으로써 가설 공간 내 히우리스틱 검색이 가능해지며, 이는 이론적 경계 하에서 구조화된 탐색을 가능하게 한다.
• F*를 통해 소스 및 타겟 리스크의 합을 최소화함으로써 이론적 경계에 기반해 미리 보지 않은 타겟 도메인으로의 일반화를 지원한다.
• 확률적 경계는 소스 리스크와 도메인 차이가 낮을 경우 타겟 리스크도 낮아지므로, 신뢰할 수 있는 적응을 보장한다.