[논문 리뷰] Domain Adaptation with Conditional Distribution Matching and Generalized Label Shift

Rémi Tachet, Han Zhao외 2명|arXiv (Cornell University)|2020. 03. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 69인용 수 68

한 줄 요약

본 논문은 일반화된 레이블 시프트(GLS)와 추정 기반 가중치 재샘플링 방법을 도입하여, 소스와 타깃 레이블 분포가 다를 때 비감독 도메인 적응을 강건하게 만드는 방법을 제시한다. 특징 공간에서 재가중된 소스와 타깃 분포를 정렬하기 위해 DANN/JAN/CDAN의 IW 변형을 사용한다.

ABSTRACT

Adversarial learning has demonstrated good performance in the unsupervised domain adaptation setting, by learning domain-invariant representations. However, recent work has shown limitations of this approach when label distributions differ between the source and target domains. In this paper, we propose a new assumption, generalized label shift ($GLS$), to improve robustness against mismatched label distributions. $GLS$ states that, conditioned on the label, there exists a representation of the input that is invariant between the source and target domains. Under $GLS$, we provide theoretical guarantees on the transfer performance of any classifier. We also devise necessary and sufficient conditions for $GLS$ to hold, by using an estimation of the relative class weights between domains and an appropriate reweighting of samples. Our weight estimation method could be straightforwardly and generically applied in existing domain adaptation (DA) algorithms that learn domain-invariant representations, with small computational overhead. In particular, we modify three DA algorithms, JAN, DANN and CDAN, and evaluate their performance on standard and artificial DA tasks. Our algorithms outperform the base versions, with vast improvements for large label distribution mismatches. Our code is available at https://tinyurl.com/y585xt6j.

연구 동기 및 목표

• 레이블 분포 불일치 하에서 도메인 적응의 강건성을 제고한다.
• 전이(transfer)를 지원하기 위한 표현에 대한 조건으로 일반화된 레이블 시프트(GLS)를 도입한다.
• 알고리즘 설계의 가이드를 제공하는 GLS의 오차 분해 및 실용적 조건을 도출한다.
• DANN, JAN, CDAN의 중요도 가중 적응을 제안한다.
• 표준 DA 작업에서 이론적 보장과 실증적 검증을 제공하는 알고리즘을 제시한다.

제안 방법

• GLS 정의: D_S(Z|Y=y) = D_T(Z|Y=y) for all y in Y.
• GLS 하에서 BER(균형오류율)와 조건부 오차 간격을 사용하는 오차 분해 상한을 제안한다.
• 클래스 가중치 비 w_y = D_T(Y=y)/D_S(Y=y) 및 재가중된 특징 분포를 통해 GLS의 필요충분조건을 도출한다.
• 클래스 혼동 행렬 C와 타깃 예측 μ를 이용해 이차 계획법(QP(C, μ))을 풀이하여 w를 추정한다.
• 소스 샘플 및/또는 결합 표현에 가중을 주어 D_T(˜Z)와 D_S^w(˜Z)를 정렬하는 세 가지 IW-DA 방법(IWDAN, IWJAN, IWCDAN)을 구현한다.
• 벤치마킹을 위한 실제 가중치를 사용하는 오라클 변형(IWDAN-O, IWJAN-O, IWCDAN-O)을 제공한다.

실험 결과

연구 질문

• RQ1 도메인 간 레이블 분포가 다를 때 GLS가 강건한 보장을 제공할 수 있는가?
• RQ2 타깃 레이블이 없이 타깃에서 소스로의 레이블 비율 w를 어떻게 추정할 수 있는가?
• RQ3 특징 공간에서 재가중된 소스 분포를 타깃 분포와 정렬하는 것이 레이블 시프트 하에서 DA 성능을 향상시키는가?
• RQ4 대규모 레이블 분포 불일치하에서 DANN, JAN, CDAN의 중요도 가중 변형이 기본 버전보다 우수한가?
• RQ5 GLS가 타깃 오차와 결합 오차 상한에 미치는 이론적 및 실증적 함의는 무엇인가?

주요 결과

• GLS는 레이블 시프트 제약을 입력 공간이 아니라 특징 공간에 배치함으로써 레이블 분포 불일치에 대한 민감도를 감소시킨다.
• 오차 분해 상한은 소스-타깃 오차 차이가 레이블 주변분포의 L1 거리와 조건부 오차 간격, 그리고 BER의 합으로 한정될 수 있음을 보인다.
• 이차 계획법을 이용한 실용적 가중 추정 방법은 비음수 가중치 w를 산출하고 클래스 수 k에 대해 스케일링이 잘 된다.
• 대규모 레이블 불일치를 가진 인공 과제와 표준 DA 과제에서 DANN, JAN, CDAN의 IW 변형이 기본 버전보다 우수하며, 오라클 가중치는 더 큰 이득을 준다.
• 이득은 레이블 분포 발산도 D_JS(D_S^Y, D_T^Y)의 크기에 비례하며, 발산이 클수록 개선도가 커진다.
• Ablation 연구에서 대부분의 이점은 적대적 손실의 재가중으로부터 비롯되며, 분류기 손실 가중으로 추가 이득이 있다.