[논문 리뷰] Mind the Class Weight Bias: Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation

Hongliang Yan, Yukang Ding외 4명|arXiv (Cornell University)|2017. 05. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 78

한 줄 요약

이 논문은 비지도 영역 적응에서 표준 MMD의 한계로서 클래스 가중치 편향을 확인하고, 클래스별로 소스 데이터를 재가중하기 위해 Classification EM(CEM) 스킴이 포함된 Weighted MMD(WMMD)를 제안하여 WDAN 모델이 다수의 CNN 아키텍처 및 데이터셋에서 도메인 불변 표현을 개선함.

ABSTRACT

In domain adaptation, maximum mean discrepancy (MMD) has been widely adopted as a discrepancy metric between the distributions of source and target domains. However, existing MMD-based domain adaptation methods generally ignore the changes of class prior distributions, i.e., class weight bias across domains. This remains an open problem but ubiquitous for domain adaptation, which can be caused by changes in sample selection criteria and application scenarios. We show that MMD cannot account for class weight bias and results in degraded domain adaptation performance. To address this issue, a weighted MMD model is proposed in this paper. Specifically, we introduce class-specific auxiliary weights into the original MMD for exploiting the class prior probability on source and target domains, whose challenge lies in the fact that the class label in target domain is unavailable. To account for it, our proposed weighted MMD model is defined by introducing an auxiliary weight for each class in the source domain, and a classification EM algorithm is suggested by alternating between assigning the pseudo-labels, estimating auxiliary weights and updating model parameters. Extensive experiments demonstrate the superiority of our weighted MMD over conventional MMD for domain adaptation.

연구 동기 및 목표

• 도메인 간의 클래스 사전 분포 차이(클래스 가중치 편향)가 MMD 기반 DA를 어떻게 악화시키는지 강조한다.
• 타깃 클래스 우선순위에 맞추어 클래스별로 소스 데이터를 재가중하기 위해 WMMD를 도입한다.
• CNN에 WMMD를 통합한 WDAN 프레임워크를 개발하여 비지도 영역 적응.
• 미니배치 CNN 학습에 적합한 효율적인 선형 시간 WMMD 추정기를 제공한다.
• 여러 벤치마크와 아키텍처에서 표준 MMD 기반 DA 방법에 비해 실증적 이점을 보인다.

제안 방법

• 소스 도메인과 타깃 도메인에 대한 클래스 가중 분포를 정의하고 WMMD를 가중 평균 임베딩 불일치(Eq. 8)로 도출한다.
• 소스 클래스별 보조 클래스 가중치를 도입하고 가짜 레이블링과 가중치 업데이트를 번갈아 수행하는 Classification EM (CEM) 절차(E-step, C-step, M-step)로 추정한다.
• WMMD를 상위 CNN 계층 전반의 정규화항으로 통합하여 소스/타깃 손실과 WMMD 항들을 결합한 WDAN 목표 함수(Eq. 11)를 얻는다.
• 효율적인 기울기 기반 최적화를 위해 WMMD(Eq. 9, 10)에 적응된 편향되지 않은 선형 시간 MMD 근사(Eq. 4, 5)를 제공한다.
• CEM으로 학습 개요: 타깃 포스터리를 계산하고, 가짜 레이블을 할당하고, 보조 가중치를 업데이트하며, mini-batch SGD로 W를 최적화한다(E-step, C-step, M-step).
• 여러 CNN(AlexNet, GoogLeNet, VGG-16) 및 데이터셋(Office-10+Caltech-10, ImageCLEF, Digit Recognition, Office-31)에 대해 WMMD를 MMD 기반 베이스라인과 비교하는 실험적 검증.

실험 결과

연구 질문

• RQ1 도메인 간의 클래스 가중치 편향이 표준 MMD 기반 비지도 영역 적응을 악화시키는가?
• RQ2 클래스별 보조 가중치와 CEM 학습 스킴을 도입하면 클래스 가중치 편향의 영향을 완화할 수 있는가?
• RQ3 제안된 WMMD 기반 WDAN이 다양한 CNN 아키텍처와 벤치마크에서 기존 MMD 기반 방법들보다 도메인 불변 표현과 분류 정확도를 개선하는가?
• RQ4 다양한 네트워크 계층과 하이퍼파라미터(예: lambda), 다양한 정도의 클래스 편향에서 WDAN의 성능은 어떠한가?
• RQ5 WMMD가 엔드투엔드 CNN 학습에 통합될 만큼 계산적으로 충분히 효율적인가?

주요 결과

• WMMD는 다수의 DA 벤치마크와 CNN 아키텍처에서 기존 MMD를 능가하여 클래스 가중치 편향에 대한 견고성을 입증한다.
• WMMD를 포함한 WDAN 모델은 Office-10+Caltech-10, ImageCLEF, Digit Recognition, Office-31에서 DAN 및 다른 베이스라인보다 평균 정확도가 더 높게 나타난다.
• Classification EM 절차는 타깃 포스터리어와 보조 가중치를 효과적으로 추정하여 WDAN 목표의 안정적인 최적화를 가능하게 한다.
• 편향되지 않은 선형 시간 WMMD 근사는 미니배치 CNN 학습에 확장 가능하도록 해준다.
• 경험적 분석 결과 WDAN의 이점은 클래스 가중치 편향에 강인하고 WDAN 목적의 균형 매개변수 lambda에 의존한다.