[논문 리뷰] On Learning Invariant Representation for Domain Adaptation

Han Zhao, Rémi Tachet des Combes외 2명|arXiv (Cornell University)|2019. 01. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 156

한 줄 요약

본 논문은 작은 소스 오차를 가진 불변 표현을 학습하는 것이 타깃 성능에 충분하지 않다는 것을 보여준다; 조건부 시프트를 반영하는 일반화 상한을 제시하고 정보 이론적 하한을 증명하며, 이론을 확인하는 실험을 포함한다.

ABSTRACT

Due to the ability of deep neural nets to learn rich representations, recent advances in unsupervised domain adaptation have focused on learning domain-invariant features that achieve a small error on the source domain. The hope is that the learnt representation, together with the hypothesis learnt from the source domain, can generalize to the target domain. In this paper, we first construct a simple counterexample showing that, contrary to common belief, the above conditions are not sufficient to guarantee successful domain adaptation. In particular, the counterexample exhibits \emph{conditional shift}: the class-conditional distributions of input features change between source and target domains. To give a sufficient condition for domain adaptation, we propose a natural and interpretable generalization upper bound that explicitly takes into account the aforementioned shift. Moreover, we shed new light on the problem by proving an information-theoretic lower bound on the joint error of \emph{any} domain adaptation method that attempts to learn invariant representations. Our result characterizes a fundamental tradeoff between learning invariant representations and achieving small joint error on both domains when the marginal label distributions differ from source to target. Finally, we conduct experiments on real-world datasets that corroborate our theoretical findings. We believe these insights are helpful in guiding the future design of domain adaptation and representation learning algorithms.

연구 동기 및 목표

• Invariant representations plus small source error guarantee target accuracy를 확인한다.
• 도메인 적응이 불변 표현 학습으로 성공하는 조건을 식별한다.
• 조건부 시프트를 반영하는 interpretable 일반화 상한을 제공한다.
• 도메인 간 레이블 분포 차이가 있을 때의 무조건정보 이론적 하한을 제시한다.
• 실세계 데이터셋으로 이론적 통찰을 실험으로 검증한다.

제안 방법

• 정렬된 불변 표현이 큰 결합 오차를 초래할 수 있다는 간단한 반례를 제시한다.
• 소스와 타깃 간의 조건부 시프트를 명시적으로 포함하는 일반화 상한을 제안한다.
• 어떤 불변 표현 기반 방법에서도 결합 오차에 대한 정보 이론적 하한을 증명한다.
• 새로운 하한을 전통적인 Ben-David 등 프레임워크와 연결하고 언제 더 촘촘한지 논의한다.
• 경험적 램다-도형 복잡도를 이용해 하한 구성요소의 데이터 의존적 추정치를 도출한다.
• 이론적 결과를 검증하기 위해 실제 데이터셋에 대한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 invariant representations를 찾으면서 작은 소스 오차를 달성하는 것이 타깃 오차를 보장하는가?
• RQ2 어떤 조건에서 불변 표현 학습이 성공적인 도메인 적응으로 이어지는가?
• RQ3 소스와 타깃 간의 조건부 시프트가 도메인 적응 상한에 어떻게 영향을 미치는가?
• RQ4 주요 레이블 분포가 다를 때 불변 표현 학습과 작은 결합 오차 달성 사이의 근본적 트레이드오프는 무엇인가?
• RQ5 실데이터에 대한 경험적 결과가 제안된 상한과 통찰을 지지하는가?

주요 결과

• 불변 표현과 작은 소스 오차가 타깃 오차를 보장하지 않는다는 반례가 존재한다.
• 조건부 시프트를 반영하고 일부 경우 이전 상한보다 촘촘할 수 있는 일반화 상한이 도출된다.
• 레이블 분포가 다를 때 불변 표현과 타깃-소스 결합 오차 간의 근본적 트레이드오프를 보이는 정보 이론적 하한이 제시된다.
• 상한은 또한 불변 표현 학습을 할 때 레이블 분포도 정렬해야 한다는 시사점을 준다.
• 실세계 데이터셋에 대한 실험이 이론적 결론들을 확인한다.