[논문 리뷰] Bridging Theory and Algorithm for Domain Adaptation

Yuchen Zhang, Tianle Liu외 2명|arXiv (Cornell University)|2019. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 229

한 줄 요약

이 논문은 Margin Disparity Discrepancy(MDD)를 도입하여 마진 손실이 있는 다중 클래스 점수 함수에 대한 도메인 적응 이론을 확장하고 일반화 경계를 도출하며, 이를 통해 이론을 적대적 학습 알고리즘으로 전환하여 표준 벤치에서 최첨단 성능을 달성한다.

ABSTRACT

This paper addresses the problem of unsupervised domain adaption from theoretical and algorithmic perspectives. Existing domain adaptation theories naturally imply minimax optimization algorithms, which connect well with the domain adaptation methods based on adversarial learning. However, several disconnections still exist and form the gap between theory and algorithm. We extend previous theories (Mansour et al., 2009c; Ben-David et al., 2010) to multiclass classification in domain adaptation, where classifiers based on the scoring functions and margin loss are standard choices in algorithm design. We introduce Margin Disparity Discrepancy, a novel measurement with rigorous generalization bounds, tailored to the distribution comparison with the asymmetric margin loss, and to the minimax optimization for easier training. Our theory can be seamlessly transformed into an adversarial learning algorithm for domain adaptation, successfully bridging the gap between theory and algorithm. A series of empirical studies show that our algorithm achieves the state of the art accuracies on challenging domain adaptation tasks.

연구 동기 및 목표

• 도메인 적응 이론을 다중 클래스 분류와 점수 함수 및 마진 손실에 적용한다.
• 마진 인식 일반화 경계와 함께 Margin Disparity Discrepancy (MDD)를 도입한다.
• 도메인 적응을 위한 MDD를 최소화하는 실용적 적대적 학습 알고리즘을 제시한다.
• 표준 벤치마크에서 최첨단 실험적 성능을 보여준다.

제안 방법

• 타겟 오차를 소스 마진 오차와 분포 차이의 상한으로 상향 보정하는 마진 기반 불일치(MDD)를 정의한다.
• 다중 클래스 도메인 적응에서 MDD에 대한 Rademacher 복잡도 및 커버링 수를 이용한 일반화 경계를 개발한다.
• 특징 추출기와 분류기가 경험적 마진 손실과 MDD를 최소화하고 보조 분류기가 마진-불일치를 최대화하는 극소극 소극화 문제를 형식화한다.
• 그라디언트 역전층이 있는 적대적 네트워크를 구현하여 표현을 MDD를 줄이도록 최적화한다.
• 실용적 최적화를 위한 마진 기반 목표를 근사하기 위해 결합 교차 엔트로피 손실을 사용한다.
• 마진 파라미터 gamma(exp(rho))가 마진 기반 불일치를 제어하고 적대적 게임의 균형과 관련이 있음을 제공한다.

실험 결과

연구 질문

• RQ1 마진 손실을 다중 클래스 문제에 대한 도메인 적응 이론에 어떻게 통합할 수 있는가?
• RQ2 마진 기반 불일치(MDD)가 전통적 발산보다 더 타이트하고 학습 가능한 일반화 경계를 제공할 수 있는가?
• RQ3 MDD를 기반으로 한 적대적 알고리즘이 표준 도메인 적응 벤치마크에서 최첨단 정확도를 달성하는가?
• RQ4 실무에서 마진 수준(rho)과 일반화/최적화 간의 트레이드오프는 무엇인가?

주요 결과

• MDD는 Office-31에서 최첨단 정확도를 달성하며 여러 전이 작업에서 여러 벤치마크를 상회한다.
• Office-31에서 MDD는 경쟁 방법들에 비해 평균 정확도 88.9%에 도달한다.
• Office-Home에서 MDD는 이전 방법들에 비해 강력한 이득을 보이며 표 2에 보고된 바와 같다.
• VisDA-2017에서 MDD는 74.6% 정확도(Synthetic→Real)를 달성하여 JAN, MCD, GTA, CDAN 벤치마크보다 높다.
• 제안된 마진 기반 이론은 다양한 도메인 시프트에서 실용적인 적대적 학습 알고리즘으로 구현되어 경쟁력 있는 또는 우수한 실험 성능을 보인다.