[논문 리뷰] Moment Matching for Multi-Source Domain Adaptation

Xingchao Peng, Qinxun Bai외 4명|arXiv (Cornell University)|2018. 12. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 48

한 줄 요약

요약: 다중 라벨 소스 도메인에서 비라벨 대상 도메인으로 지식을 전이하기 위한 순간 일치(moment-matching) 접근법인 M3SDA를 소개하고, 대규모 DomainNet 다소스 도메인 적응 데이터세트를 제공합니다.

ABSTRACT

Conventional unsupervised domain adaptation (UDA) assumes that training data are sampled from a single domain. This neglects the more practical scenario where training data are collected from multiple sources, requiring multi-source domain adaptation. We make three major contributions towards addressing this problem. First, we collect and annotate by far the largest UDA dataset, called DomainNet, which contains six domains and about 0.6 million images distributed among 345 categories, addressing the gap in data availability for multi-source UDA research. Second, we propose a new deep learning approach, Moment Matching for Multi-Source Domain Adaptation M3SDA, which aims to transfer knowledge learned from multiple labeled source domains to an unlabeled target domain by dynamically aligning moments of their feature distributions. Third, we provide new theoretical insights specifically for moment matching approaches in both single and multiple source domain adaptation. Extensive experiments are conducted to demonstrate the power of our new dataset in benchmarking state-of-the-art multi-source domain adaptation methods, as well as the advantage of our proposed model. Dataset and Code are available at \url{http://ai.bu.edu/M3SDA/}.

연구 동기 및 목표

• 비지도 도메인 적응의 실용적 확장으로서 다중 소스 도메인 적응(MSDA)을 동기부여한다.
• 6개 도메인과 345개 카테고리로 구성된 대규모 MSDA 벤치마크 데이터셋(DomainNet)을 제공한다.
• 모든 소스 도메인과 대상 도메인 간에 분포 모먼트를 정렬하는 심층 학습 모델(M3SDA)을 제안한다.
• MSDA 및 단일 소스 설정에서 모먼트 기반 도메인 발산에 대한 이론적 통찰을 제시한다.
• 여러 벤치마크에서 최첨단 기반선 대비 M3SDA의 경험적 개선을 시연한다.

제안 방법

• 모든 소스 도메인과 대상 도메인 간의 1차 및 2차 모먼트의 차이를 측정하는 moment distance MD^2를 정의한다(식 1).
• 특징 추출기 G와 소스 도메인당 하나의 분류기 N을 학습시켜 소스 손실과 D_S와 D_T 간의 가중 모먼트 매칭 항을 최소화한다(식 2).
• 분류기 쌍을 활용하고 discrepancy 기반 방법에서 영감을 얻은 3단계 학습 절차를 통해 p(y|x)와 p(x)를 정렬하는 M3SDA-β를 도입한다(식 3 및 4).
• 앙상블/테스트 방식(M3SDA*)을 사용하여 분류기 출력을 평균하거나 소스-대상 간의 근접성(acc_i)에 기반한 가중치 벡터를 계산하여 가중 앙상블을 형성한다.
• 대상 오차가 각 소스와 대상 간의 교차 모먼트 발산 d_CM^k에 의존한다는 이론적 경계(Theorem 1)를 제공한다.

실험 결과

연구 질문

• RQ1 다중 소스 도메인을 대상 도메인으로 정렬하는 것이 단일 소스 또는 다른 MSDA 방법에 비해 MSDA 성능을 향상시키는가?
• RQ2 DomainNet과 같은 대규모 다도메인 데이터셋 및 Office-Caltech10 및 숫자 데이터셋과 같은 표준 벤치마크에서 모먼트 기반 MSDA가 어떤 성능을 보이는가?
• RQ3 MSDA의 모먼트 매칭 방식에 대한 이론적 보장은 무엇이며 그것이 소스-대상 및 소스-소스 발산과 어떤 관련이 있는가?
• RQ4 M3SDA-β를 통해 서로를 정렬하는 것이 MSDA 작업에서 표준 M3SDA에 비해 실질적인 이점을 제공하는가?

주요 결과

• M3SDA 및 M3SDA-β가 Digits 및 Office-Caltech10 벤치마크에서 강력한 개선을 달성(예: 평균 정확도가 competing 방법을 상회).
• Digits에서 M3SDA는 평균 정확도 86.13%, M3SDA-β는 87.65%를 달성하여 여러 벤치마크를 능가한다.
• Office-Caltech10에서 M3SDA는 평균 정확도 96.1%, M3SDA-β는 96.4%에 도달한다.
• DomainNet에서 M3SDA 및 M3SDA-β는 30개의 소스-대상 조합 및 다수의 벤치마크에서 경쟁력 있는 성능을 보이며 데이터셋의 도전성과 방법의 효과를 반영한다.
• 이론적 분석은 교차 모먼트 발산을 MSDA로 확장하여 대상 오차를 소스와 대상 간의 모먼트 기반 차이와 연결한다.