[논문 리뷰] On Deep Domain Adaptation: Some Theoretical Understandings

Trung Le, Khanh Nguyen외 3명|arXiv (Cornell University)|2018. 11. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 깊이 있는 도메인 적응을 위한 엄밀한 이론적 프레임워크를 수립하여, 공동 특징 공간에서 소스 및 타겟 분포 간의 워셔스타인 거리(Wasserstein distance)를 최소화하면 전이 학습 오차가 감소함을 증명한다. 이는 전이 오차의 상한선이 분포의 산란도와 레이블 할당 불일치도에 모두 의존함을 보여주며, 딥 네트워크에서 도메인 정렬이 일반화를 향상시키는 이유를 원리적으로 설명하고, CycleGAN과 같은 비지도 스타일 전이 모델과 연결된다.

ABSTRACT

Compared with shallow domain adaptation, recent progress in deep domain adaptation has shown that it can achieve higher predictive performance and stronger capacity to tackle structural data (e.g., image and sequential data). The underlying idea of deep domain adaptation is to bridge the gap between source and target domains in a joint space so that a supervised classifier trained on labeled source data can be nicely transferred to the target domain. This idea is certainly intuitive and powerful, however, limited theoretical understandings have been developed to support its underpinning principle. In this paper, we have provided a rigorous framework to explain why it is possible to close the gap of the target and source domains in the joint space. More specifically, we first study the loss incurred when performing transfer learning from the source to the target domain. This provides a theory that explains and generalizes existing work in deep domain adaptation which was mainly empirical. This enables us to further explain why closing the gap in the joint space can directly minimize the loss incurred for transfer learning between the two domains. To our knowledge, this offers the first theoretical result that characterizes a direct bound on the joint space and the gain of transfer learning via deep domain adaptation

연구 동기 및 목표

• 딥 도메인 적응의 경험적 성공을 설명하는 엄밀한 이론적 기초를 마련하는 것.
• 소스 도메인과 타겟 도메인 간의 공유 가설 공간에 대한 가정을 완화함으로써 이전 연구를 일반화하는 것.
• 분포 산란도와 레이블 할당 불일치도에 모두 의존하는 전이 학습 오차의 이론적 상한선을 유도하는 것.
• 통합된 이론적 시각에서 기존 딥 도메인 적응 방법의 성공을 설명하는 것.
• 딥 도메인 적응 이론을 CycleGAN 및 DiscoGAN과 같은 비지도 스타일 전이 모델과 연결하는 것.

제안 방법

• 공유 가설 공간을 가정하지 않고, 소스 및 타겟 도메인 간의 이동을 이중사상 변환 $ T_{ts} $로 모델링하는 일반적 프레임워크를 제안한다.
• 소스 분포와 타겟 분포의 $ T_{ts} $를 통한 푸시포워드(pushforward) 간의 워셔스타인 거리에 의존하는 전이 학습의 일반화 오차 상한선을 유도한다.
• 공동 공간에서의 레이블 할당 메커니즘 간의 불일치를 캡처하기 위해 불일치 항목을 포함한다.
• GAN 원리와 연결된 판별자들을 사용하여 학습 중 공동 공간에서 적절한 레이블 정렬을 강제한다.
• 소스 및 타겟 도메인의 기하학적 구조와 클러스터 구조를 유지하기 위해 재구성 손실을 도입한다.
• 공동 공간에서 구조 유지와 도메인 혼합 사이의 균형을 맞추기 위해 무작위 초모수를 사용한다.

실험 결과

연구 질문

• RQ1 딥 도메인 적응이 전이 학습 오차를 감소시키는 데 있어 이론적으로 어떻게 정당화될 수 있는가?
• RQ2 공동 특징 공간에서의 분포 정렬이 전이 오차를 최소화하는 데 어떤 역할을 하는가?
• RQ3 소스 도메인과 타겟 도메인 간의 레이블 할당 불일치도가 전이 성능에 어떤 영향을 미치는가?
• RQ4 이론적 프레임워크는 CycleGAN과 같은 비지도 스타일 전이 모델의 성공을 설명할 수 있는가?
• RQ5 공동 공간에서 도메인 구조 유지와 도메인 혼합 사이에 존재하는 상충 관계는 무엇인가?

주요 결과

• 이론적 분석 결과, 전이 오차는 소스 분포와 변환된 타겟 분포 간의 워셔스타인 거리와 레이블 할당 메커니즘 간의 불일치도의 합으로 상한선이 정해진다.
• 실험 결과는 공동 공간에서 적절한 레이블 매칭이 예측 성능을 크게 향상시키며, 부적절한 매칭은 성능을 떨어뜨린다는 것을 확인한다.
• MNIST→MNIST-M 작업에서, 적절한 레이블 매칭 조건 하에 50%의 타겟 데이터가 레이블링된 경우 정확도가 93.2%에 도달하는 반면, 부적절한 매칭 조건에서는 58.4%에 그친다.
• 재구성 항목을 추가하면 클러스터 구조를 유지함으로써 성능이 향상되며, MNIST→MNIST-M에서 재구성 없이 81.5%에서 최적의 재구성 조건에서 93.2%로 상승한다.
• 이론은 CycleGAN과 DiscoGAN이 작동하는 이유를 설명한다: 이들은 공유 공간에서 분포 산란도를 최소화하는 비퇴화적인 운반 지도를 학습하기 때문이다.
• 실험 결과, 워셔스타인 거리만 최소화하는 것은 레이블 불일치 항목을 증가시켜 전체 오차 상한선을 악화시킬 수 있음을 보여준다.