[논문 리뷰] DeepJDOT: Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation

Bharath Bhushan Damodaran, Benjamin Kellenberger외 3명|arXiv (Cornell University)|2018. 03. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 372

한 줄 요약

tldr: DeepJDOT는 소스와 타깃 사이의 공유 잠재 공간과 타깃 도메인 분류기를 공동으로 최적화된 깊은 표현과 공동 분포 최적 수송 결합을 통해 학습하여 강력한 비지도 도메인 적응 성능을 달성한다.

ABSTRACT

In computer vision, one is often confronted with problems of domain shifts, which occur when one applies a classifier trained on a source dataset to target data sharing similar characteristics (e.g. same classes), but also different latent data structures (e.g. different acquisition conditions). In such a situation, the model will perform poorly on the new data, since the classifier is specialized to recognize visual cues specific to the source domain. In this work we explore a solution, named DeepJDOT, to tackle this problem: through a measure of discrepancy on joint deep representations/labels based on optimal transport, we not only learn new data representations aligned between the source and target domain, but also simultaneously preserve the discriminative information used by the classifier. We applied DeepJDOT to a series of visual recognition tasks, where it compares favorably against state-of-the-art deep domain adaptation methods.

연구 동기 및 목표

• 타깃 라벨이 이용 불가능할 때 강건한 비지도 도메인 적응을 촉진한다

제안 방법

• 입력을 의미론적 잠재 공간으로 매핑하기 위해 CNN 내에서 임베딩 g와 분류기 f를 정의한다
• 임베딩 표현과 레이블에 대한 공동 분포 OT 목표를 형식화하고 소스 샘플과 타깃 샘플을 결합하는 비용을 최소화한다
• 확장성을 위해 확률적 미니배치를 통한 OT 결합을 해결하고 이를 표준 역전파에 통합한다
• 소스 감독 정보와 OT 기반 정렬을 모두 최소화하도록 임베딩 g와 분류기 f를 공동으로 업데이트한다
• 도메인 간의 판별력을 유지하고 심각한 망각을 방지하기 위해 필요시 소스 도메인 손실을 포함한다

실험 결과

연구 질문

• RQ1 공동 분포 최적 수송을 딥 모델에 어떻게 통합하여 소스 도메인과 타깃 도메인을 의미적으로 정렬할 수 있는가?
• RQ2 딥 피처 공간에서 결합(커플링)을 학습하는 것이 입력 공간에서 정렬하는 것에 비해 타깃 도메인 구분성을 향상시키는가?
• RQ3 확률적 미니배치 OT 접근법이 정렬 품질을 유지하면서 대용량 데이터에 확장될 수 있는가?
• RQ4 OT 목표와 함께 소스 도메인 감독 정보를 포함하는 것이 적응 중 심각한 망각을 방지하는가?

주요 결과

• DeepJDOT은 숫자 인식 작업과 Office-Home 데이터셋에서 여러 최첨단 비지도 도메인 적응 방식보다 성능이 우수하다.
• 본 방법은 소스와 타깃 분포를 정렬하고 공유 잠재 공간에서 클래스 구분을 극대화하는 임베딩을 학습한다.
• 확률적 최적화 절차는 미니배치 내에서 작은 OT 결합을 해결함으로써 확장 가능한 학습을 가능하게 한다.
• 손상 연구(ablation studies)는 공동 임베딩/레이블 정렬과 소스 감독을 결합하는 것이 구성 요소를 단독으로 사용하는 것보다 더 좋은 결과를 낳는다는 것을 보여준다.
• 시각화는 DeepJDOT가 임베딩 공간에서 소스와 타깃 샘플의 거의 완벽한 정렬과 명확한 클래스 구분을 달성함을 시사한다.