[논문 리뷰] Transferrable Prototypical Networks for Unsupervised Domain Adaptation

Yingwei Pan, Ting Yao외 4명|arXiv (Cornell University)|2019. 04. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 50

한 줄 요약

논문은 소스와 대상 도메인 간 클래스 프로토타입을 정렬하고 점수 분포를 동기화하는 Transferrable Prototypical Networks(TPN)를 제안하며 MNIST/USPS/SVHN 및 VisDA 2017을 포함한 다수의 도메인 시프트에서 최첨단 성능을 달성한다.

ABSTRACT

In this paper, we introduce a new idea for unsupervised domain adaptation via a remold of Prototypical Networks, which learn an embedding space and perform classification via a remold of the distances to the prototype of each class. Specifically, we present Transferrable Prototypical Networks (TPN) for adaptation such that the prototypes for each class in source and target domains are close in the embedding space and the score distributions predicted by prototypes separately on source and target data are similar. Technically, TPN initially matches each target example to the nearest prototype in the source domain and assigns an example a "pseudo" label. The prototype of each class could then be computed on source-only, target-only and source-target data, respectively. The optimization of TPN is end-to-end trained by jointly minimizing the distance across the prototypes on three types of data and KL-divergence of score distributions output by each pair of the prototypes. Extensive experiments are conducted on the transfers across MNIST, USPS and SVHN datasets, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, we obtain an accuracy of 80.4% of single model on VisDA 2017 dataset.

연구 동기 및 목표

• 전이 가능한 임베딩 공간에서 프로토타이핑 네트워크를 활용하여 비지도 도메인 적응을 촉진한다.
• 소스와 타깃 표현을 정렬하기 위한 클래스 수준 및 샘플 수준의 도메인 차이 감소를 도입한다.
• 의사 라벨이 포함된 타깃 데이터와 함께 레이블이 있는 소스 데이터를 사용하는 엔드투엔드 학습을 가능하게 한다.
• 숫자 데이터셋과 합성-실제 간 전이에서 강력한 실험 성능을 보여준다.

제안 방법

• 프로토타이핑 네트워크 프레임워크를 사용하여 입력을 공유 공간에 임베딩한다.
• 소스-전용, 타깃-전용(의사 라벨링된), 소스-타깃 데이터를 각각에서 클래스 프로토타입을 계산한다.
• RKHS에서 도메인 간 프로토타입을 정렬하는 클래스 수준 차이 손실을 최소화한다.
• 다른 도메인 특화 분류기의 각 샘플 점수 분포 사이의 대칭 KL 발산을 사용하여 샘플 수준 차이 손실을 최소화한다.
• 감독 소스 분류 손실과 일반 목적의 적응 항 및 작업 특화 적응 항을 더해 엔드투엔드 학습을 수행하고; 소스 프로토타입과 대상/결합 프로토타입의 업데이트를 교대로 수행하며; 타깃 샘플에 대해 신뢰도 확인과 함께 의사 라벨을 사용한다.
• 타깃을 임베딩 공간에 투사하고 저장된 프로토타입과의 거리를 이용해 분류하여 추론/테스트한다.

실험 결과

연구 질문

• RQ1 다른 도메인의 프로토타입을 공유 임베딩 공간에서 정렬하여 클래스 수준의 도메인 시프트를 줄일 수 있는가?
• RQ2 레이블이 없는 대상 데이터로도 대상 도메인 프로토타입을 만들기 위해 대상 샘플을 효과적으로 의사 라벨링할 수 있는가?
• RQ3 도메인 특화 분류기 간 점수 분포의 유사성 강제가 프로토타입 정렬을 넘어 대상 도메인 정확도를 향상시키는가?
• RQ4 일반 목적의 (클래스 수준)과 작업 특화된 (샘플 수준) 적합화를 결합하는 것이 비지도 도메인 적응 성능에 미치는 영향은?

주요 결과

• TPN은 숫자 전이에서 92.1% (M→U) 및 94.1% (U→M) 정확도를 달성하여 여러 최첨단 방법을 능가한다.
• S→M 전이에서 93.0% 정확도를 달성하고 ADDA, JAN, MCD를 비롯한 경쟁자들을 능가한다.
• VisDA 2017 합성-실제 전이에서 단일 모델로 80.4% 정확도를 달성한다.
• 변형 제거 실험은 일반 목적(TPN gen)과 작업 특화(TPN task) 적응 모두 기여함을 보이고, TPN이 일반적으로 소스-전용과 많은 기초 모델을 능가한다.
• 이 방법은 의사 라벨 노이즈에 대한 강건성을 보이고 반복적인 자기 라벨링을 통해 대상 도메인 성능을 향상시킨다.