[논문 리뷰] Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift

Ruijia Xu, Ziliang Chen외 3명|arXiv (Cornell University)|2018. 03. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 54

한 줄 요약

Deep Cocktail Network (DCTN)을 도입하여 다중 소스의 무감독 도메인 적응에서 카테고리 시프트가 있을 수 있는 상황을 다루고, 다방향 적대적 학습과 소스별 경로 가중치를 사용해 타깃 도메인에 대한 예측을 융합한다.

ABSTRACT

Unsupervised domain adaptation (UDA) conventionally assumes labeled source samples coming from a single underlying source distribution. Whereas in practical scenario, labeled data are typically collected from diverse sources. The multiple sources are different not only from the target but also from each other, thus, domain adaptater should not be modeled in the same way. Moreover, those sources may not completely share their categories, which further brings a new transfer challenge called category shift. In this paper, we propose a deep cocktail network (DCTN) to battle the domain and category shifts among multiple sources. Motivated by the theoretical results in \cite{mansour2009domain}, the target distribution can be represented as the weighted combination of source distributions, and, the multi-source unsupervised domain adaptation via DCTN is then performed as two alternating steps: i) It deploys multi-way adversarial learning to minimize the discrepancy between the target and each of the multiple source domains, which also obtains the source-specific perplexity scores to denote the possibilities that a target sample belongs to different source domains. ii) The multi-source category classifiers are integrated with the perplexity scores to classify target sample, and the pseudo-labeled target samples together with source samples are utilized to update the multi-source category classifier and the feature extractor. We evaluate DCTN in three domain adaptation benchmarks, which clearly demonstrate the superiority of our framework.

연구 동기 및 목표

• 다양한 소스가 disponibles하고 서로 다른 카테고리 세트를 공유하지 않을 수 있는 무감독 도메인 적응의 동기와 문제를 다룬다.
• 타깃을 소스 분포의 가중 조합으로 표현하는 deep cocktail network (DCTN)을 제안하고, 교대적 적대적 및 판별적 단계로 최적화한다.
• 멀티-웨이 적대적 도메인 적응과 타깃 데이터에 대한 의사 레이블을 포함한 판별적 적응을 포함하는 실용적인 학습 파이프라인을 개발한다.

제안 방법

• 공유 특성 추출기, 다소스 도메인 판별기, 다소스 카테고리 분류기, 비학습 가능한 타깃 분류 연산자를 포함하는 네 가지 구성요소를 제안한다.
• 타깃-소스 간의 차이를 최소화하고 소스별 perplexity 점수를 생성하기 위해 멀티-웨이 적대 학습을 사용한다.
• perplexity 점수에 따라 소스별 분류기를 가중하고 이를 합산하여 타깃 라벨을 할당하는 타깃 예측을 계산한다(카테고리 시프트에 호환).
• 학습은 교대 프로토콜로 훈련된다: (i) 적대적/도메인 정렬 단계; (ii) 의사 레이블이 있는 타깃 및 소스 데이터를 이용한 판별적 적응.
• 온라인 하드 도메인 배치 채굴을 포함하는 학습 알고리즘을 제시하여 가장 정보량이 많은 소스-타깃 쌍에 집중한다.

실험 결과

연구 질문

• RQ1 다양한 소스가 존재하고 카테고리 셋이 다를 수 있는 상황에서 무감독 도메인 적응을 어떻게 효과적으로 수행할 수 있는가?
• RQ2 소스 분포 가중치를 이용한 소스 분류기 조합이 다소스 도메인 적응에서 타깃 예측을 개선할 수 있는가?
• RQ3 다중 소스 분류기에 타깃 의사레이블을 결합하는 것이 카테고리 시프트 하에서 판별적 전이성을 향상시키는가?
• RQ4 다중-웨이 적대 학습 및 소스-특정 perplexity 가중치가 벤치마크 전반의 타깃 성능에 미치는 영향은 무엇인가?

주요 결과

Standards	Models	A,W→D	A,D→W	D,W→A	Avg
Office-31 vanilla	DCTN (ours)	99.6	96.9	54.9	83.8
Office-31 vanilla	RTN	99.6?	96.8?	51.0?	73.7?
Office-31 vanilla	DAN	99.0	96.0	54.0	72.9
Office-31 vanilla	RevGrad	99.2	96.4	53.4	74.3
Office-31 vanilla	DRCN	99.0	96.4	56.0	73.6
Office-31 vanilla	GFK	95.0	95.6	52.4	68.7
Office-31 vanilla	TCA	95.2	93.2	51.6	68.8
Office-31 vanilla	Source combine ( Source only )	98.1	93.2	50.2	80.5
Office-31 vanilla	RevGrad (second)	98.8	96.2	54.6	83.2
Office-31 vanilla	DAN (second)	98.8	95.2	53.4	82.5
Office-31 vanilla	Multi-source (Source only)	98.2	92.7	51.6	80.8
Digits-five vanilla	DCTN (ours)	77.5	70.9	74.2	74.2

• DCTN은 Vanilla MDA 설정에서 Office-31, ImageCLEF-DA, Digits-five 벤치마크에서 최첨단 성능을 달성한다.
• 카테고리 시프트 설정에서 DCTN은 견고한 성능을 유지하고 양의 전이 이득을 보이는 반면, 여러 베이스라인은 악화를 겪는 경우가 있다.
• Office-31(vanilla) 전반에서 DCTN은 99.6, 96.9, 54.9, 83.8 (A,W→D; A,D→W; D,W→A; Avg) 를 달성한다.
• ImageCLEF-DA(vanilla) 전반에서 DCTN은 68.8, 90.0, 83.5 (I,C→P; I,P→C; P,C→I) 와 80.8의 평균으로 달성한다.
• Digits-five(vanilla) 전반에서 DCTN은 보고된 도메인 전이에 대해 베이스라인보다 강한 향상을 보이며(예: mm, mt, sy, up→sv 및 mt, sv, sy, up→mm에서 77.5, 70.9, 74.2).
• Ablation 분석은 다중-방향 적대자와 의사 레이블링 전략이 성능 향상에 기여함을 시사한다.