[논문 리뷰] Implicit Class-Conditioned Domain Alignment for Unsupervised Domain Adaptation

Xiang Jiang, Qicheng Lao외 2명|arXiv (Cornell University)|2020. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 52

한 줄 요약

암시적이고 샘플링 기반의 클래스-조건 도메인 정렬을 통해 비지도 도메인 적응에서의 무라벨 최적화에 의존하지 않고 도메인 내 클래스 불균형과 도메인 간 분포 이동을 해결한다.

ABSTRACT

We present an approach for unsupervised domain adaptation---with a strong focus on practical considerations of within-domain class imbalance and between-domain class distribution shift---from a class-conditioned domain alignment perspective. Current methods for class-conditioned domain alignment aim to explicitly minimize a loss function based on pseudo-label estimations of the target domain. However, these methods suffer from pseudo-label bias in the form of error accumulation. We propose a method that removes the need for explicit optimization of model parameters from pseudo-labels directly. Instead, we present a sampling-based implicit alignment approach, where the sample selection procedure is implicitly guided by the pseudo-labels. Theoretical analysis reveals the existence of a domain-discriminator shortcut in misaligned classes, which is addressed by the proposed implicit alignment approach to facilitate domain-adversarial learning. Empirical results and ablation studies confirm the effectiveness of the proposed approach, especially in the presence of within-domain class imbalance and between-domain class distribution shift.

연구 동기 및 목표

• 비지도 도메인 적응(UDA)에서 도메인 내 클래스 불균형과 도메인 간 분포 이동이라는 도전과제를 다룬다.
• 클래스 조건 정렬을 위한 명시적 가짜 라벨 최적화에 의존하지 않는다.
• 클래스 불일치로 인해 발생하는 도메인 판별자 단축 현상에 대한 이론적 통찰을 제공하고 샘플링 기반 해결책을 제시한다.
• 극단적인 클래스 분포 시나리오 하에서 표준 UDA 벤치마크에서의 견고성 및 개선을 보여준다.

제안 방법

• 경험적 HΔH 발산을 클래스 정렬된 구성요소와 클래스 잘못 정렬된 구성요소로 분해하여 불일치의 해로운 효과를 보여준다.
• 가짜 라벨에 의해 구동되는 클래스-정렬 미니배치 샘플링을 통한 암시적 클래스-조건 도메인 정렬을 도입하고, 고정된 목표 라벨 분포 p(y)을 사용한다.
• 샘플링 S: x ~ pS(x|y)p(y) 및 T: x ~ pT(x|ŷ)p(y)로 훈련용 클래스 정렬 미니배치를 생성한다.
• 암시적 샘플링을 적대적 도메인 정렬(예: MDD)과 결합하고 도메인 불일치 추정기에 마스킹 스킴을 적용하여 클래스-잘못 정렬 단축을 완화한다.
• 가짜 라벨 오류에 대한 강건성을 연구하기 위해 오라클 버전과 가짜 라벨 기반 버전을 제공한다.
• 이 방법이 도메인 적응 알고리즘의 선택과 무관하며 여러 벤치마크에서 성능 향상을 가져옴을 보인다.

실험 결과

연구 질문

• RQ1 명시적 가짜 라벨 최적화 없이 샘플링 기반의 암시적 클래스-조건 정렬이 도메인 간 클래스 분포 간의 불일치를 줄일 수 있는가?
• RQ2 클래스 불일치를 해결하는 것이 경험적 도메인 발산 추정치와 도메인 불변 표현 학습에 어떤 영향을 미치는가?
• RQ3 표준 UDA 벤치마크 전반에서 가짜 라벨 오류와 극심한 도메인 내/클래스 분포 변화에 대해 암시적 정렬이 강건한가?
• RQ4 기존의 도메인 차이 측정치(예: MDD)와 시너지를 내고 명시적 클래스 조건 정렬보다 성능을 향상시키는가?

주요 결과

• 암시적 정렬은 극심한 도메인 내 클래스 불균형과 도메인 간 분포 이동(Office-Home RS-UT) 하에서 최신(SOTA) 성능을 달성한다.
• 명시적 정렬과 비교할 때 암시적 정렬은 가짜 라벨 부정확성에 더 강건하고 오차 누적을 줄인다.
• Office-Home, Office-31, VisDA2017 전반에서 암시적 정렬은 MDD를 포함한 강력한 베이스라인 및 여러 명시적 방법보다 일관되게 성능을 향상시킨다.
• 도메인 차이 추정기에 마스킹 스킴을 클래스 정렬 샘플링과 결합하면 잘못 정렬된 클래스에서 도메인 판별자 단축을 효과적으로 완화한다.
• 소거 연구는 입력 공간 샘플링과 발산 측정치 마스킹이 관찰된 이득에 모두 필수적임을 보인다.
• 합성 실험에서 DANN과 통합하면 다양한 불균형 시나리오에서 정확도를 더욱 향상시킨다.