[논문 리뷰] Domain Adaptation with Asymmetrically-Relaxed Distribution Alignment

Yifan Wu, Ezra Winston외 2명|arXiv (Cornell University)|2019. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 58

한 줄 요약

이 논문은 도메인 적응에 대한 비대칭적으로 완화된 분포 정렬을 도입하고, exact 분포 매칭을 beta-admissible distance로 대체하여 라벨 시프트 하에서도 강건성을 유지하며, 이론과 실험 결과를 통해 target-domain 성능이 향상됨을 보여준다.

ABSTRACT

Domain adaptation addresses the common problem when the target distribution generating our test data drifts from the source (training) distribution. While absent assumptions, domain adaptation is impossible, strict conditions, e.g. covariate or label shift, enable principled algorithms. Recently-proposed domain-adversarial approaches consist of aligning source and target encodings, often motivating this approach as minimizing two (of three) terms in a theoretical bound on target error. Unfortunately, this minimization can cause arbitrary increases in the third term, e.g. they can break down under shifting label distributions. We propose asymmetrically-relaxed distribution alignment, a new approach that overcomes some limitations of standard domain-adversarial algorithms. Moreover, we characterize precise assumptions under which our algorithm is theoretically principled and demonstrate empirical benefits on both synthetic and real datasets.

연구 동기 및 목표

• 지원할 수 없거나 겹치지 않는 분포를 갖는 시점에서의 분포 시프트 하의 도메인 적응 동기 부여
• target와 source 표현 간의 밀도 비를 상향 바운딩하는 완화적이고 비대칭적인 정렬 목표 정의
• 구체적이고 검증 가능한 가정하에서 대상 도메인 성능에 대한 이론적 보장 제공
• 적대적 학습과 호환되는 beta-admissible 거리(f-다양체, 수정된 Wasserstein, 재가중 거리) 개발
• 합성 및 실제 데이터에서 표준 도메인-대립 방법보다 개선된 실험적 성능 시현

제안 방법

• 대상 도메인 적대 학습에서 정확한 분포 정합을 beta-admissible 거리로 대체
• sup_z p_T^phi(z)/p_S^phi(z) <= 1+beta일 때 제로 거리를 만족하도록 D_beta를 정의
• 실용적인 세 가지 구현 형태: beta-admissible f-divergences, 수정된 Wasserstein 거리, 재가중(distances) 거리
• 이러한 beta-admissible 거리를 구현하는 adversarial training 목표(이중 형태 적응 포함) 유도
• 미니배치 학습 내에서 재가중 거리를 최적화하기 위한 암묵적 정렬 기반 재가중 scheme 제안
• 특정 조건하에 대상 오차의 상한을 E_T(phi,h) <= (1+beta) E_S(phi,h) + 3 delta1 + 2(1+beta) delta2 + delta3로 제시

실험 결과

연구 질문

• RQ1 표준 도메인-대립 목표가 정확한 분포 매칭으로 인한 라벨 분포 시프트에서 실패할 수 있는가?
• RQ2 비대칭적으로 완화된 분포 정렬이 라벨 시프트 가정하에서 실패를 완화하고 대상 도메인에 대한 보장을 제공하는가?
• RQ3 beta-admissible 거리를 구성하고 적대적 학습에서 최적화하여 완화된 정렬을 어떻게 강제하는가?
• RQ4 beta-admissible 접근법이 라벨 시프트가 있는 합성 데이터에서 대상 정확도를 향상시키고 시프트가 없는 경우에도 비슷하게 작동하는가?

주요 결과

• 라벨 분포 시프트 하에서 일반적인 DANN은 잠재 공간의 교차 라벨 매핑으로 인해 대상 정확도를 유지하지 못한다.
• beta-admissible 거리 덕분에 성공적인 적응이 가능해져 합성 데이터에서 대상 정확도가 향상됨(예: 보고된 설정에서 89%에서 99%로 증가).
• 이론적 한계는 대상 오차가 특정 조건 하에서 스케일된 소스 오차와 작은 가산 항에 의해 통제됨을 보여준다.
• 세 가지 실용적인 beta-admissible 거리가 개발되어 적대적 학습을 통해 최적화 가능하다.
• 합성 및 실제 데이터에 대한 실험 결과, 비대칭적으로 완화된 정렬로 대상 성능이 개선되었고 그 외 경우에도 경쟁력 있는 성능을 보인다.