[논문 리뷰] Virtual Mixup Training for Unsupervised Domain Adaptation

Xudong Mao, Yun Ma외 3명|arXiv (Cornell University)|2019. 05. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 49

한 줄 요약

가상 믹스업 트레이닝(VMT)을 도입하여 unsupervised domain adaptation에서 학습 포인트 사이의 로컬 Lipschitz성을 강제하고, VADA 기반 모델을 여섯 벤치마크에서 개선하며 특히 MNIST에서 SVHN으로.

ABSTRACT

We study the problem of unsupervised domain adaptation which aims to adapt models trained on a labeled source domain to a completely unlabeled target domain. Recently, the cluster assumption has been applied to unsupervised domain adaptation and achieved strong performance. One critical factor in successful training of the cluster assumption is to impose the locally-Lipschitz constraint to the model. Existing methods only impose the locally-Lipschitz constraint around the training points while miss the other areas, such as the points in-between training data. In this paper, we address this issue by encouraging the model to behave linearly in-between training points. We propose a new regularization method called Virtual Mixup Training (VMT), which is able to incorporate the locally-Lipschitz constraint to the areas in-between training data. Unlike the traditional mixup model, our method constructs the combination samples without using the label information, allowing it to apply to unsupervised domain adaptation. The proposed method is generic and can be combined with most existing models such as the recent state-of-the-art model called VADA. Extensive experiments demonstrate that VMT significantly improves the performance of VADA on six domain adaptation benchmark datasets. For the challenging task of adapting MNIST to SVHN, VMT can improve the accuracy of VADA by over 30\%. Code is available at \url{https://github.com/xudonmao/VMT}.

연구 동기 및 목표

• 클러스터 가정을 더 잘 강제함으로써 비감독 도메인 적응을 동기 부여하고 개선한다.
• 학습 포인트만을 커버하는 기존의 로컬 Lipschitz 정규화들의 한계를 해결한다.
• 데이터 포인트 사이의 영역까지 Lipschitz 제약을 확장하는 mixup 기반 정규화를 도입한다.
• mixup에서 가상 레이블을 사용하여 비감독 도메인 적응에 적용 가능하게 한다.
• VMT가 표준 도메인 적응 벤치마크에서 최첨단 결과를 달성함을 입증한다.

제안 방법

• 훈련 샘플과 그 가상 레이블 사이의 선형 변화를 데이터 포인트 사이에서 강제하기 위해 Virtual Mixup Training (VMT)를 제안한다.
• 학습에 대한 정규화로 실레이블을 가상 레이블(분류기가 예측한)로 교체하여 비감독 도메인 적응에 적합하게 한다.
• 로그 logits(softmax 이전 계층)에서 믹스를 수행하여 안정성을 향상시키고 확률에 대한 믹싱을 대체한다.
• VMT를 기존 모델(특히 VADA)과 결합하여 소스/타깃 손실, VAT, 조건 엔트로피를 포함하는 공동 목표를 형성한다.
• 베타 분포 혼합 계수를 사용하여 샘플과 그 가상 레이블의 볼록 조합을 만들고, 그런 다음 f(tilde{x})와 tilde{y} 사이의 KL 발산을 페널티한다.
• VMT 초기화 후 대상 도메인에서 선택적으로 반복적 정제 단계(DIRT-T)를 적용하여 클러스터 가정을 더 최적화한다.

실험 결과

연구 질문

• RQ1 비감독 도메인 적응을 위해 학습 샘플 사이의 영역으로 로컬 Lipschitz 제약을 어떻게 확장할 수 있는가?
• RQ2 가상 레이블을 가진 logits에서의 혼합이 확률에서의 혼합에 비해 안정성과 성능을 향상시키는가?
• RQ3 VMT가 다수의 도메인 적응 벤치마크에서 일관되게 최첨단 VADA를 능가할 수 있는가?
• RQ4 VMT를 가상 적대 학습(VAT) 및 DIRT-T와 결합했을 때 대상 도메인 클러스터링과 정렬에 어떤 영향이 있는가?

주요 결과

• VMT는 여섯 표준 시각적 도메인 적응 벤치마크에서 VADA 성능을 향상시킨다.
• 로짓에서의 혼합은 확률에서의 혼합보다 더 안정적이고 더 높은 정확도를 얻으며, 특히 MNIST→SVHN 과제에서 도전적이다.
• VMT는 여러 작업에서 최첨단 결과를 달성하고 상한값 타깃 학습 분류기에 대한 격차를 크게 줄인다(예: instance normalization 없이 MNIST→SVHN).
• VMT와 DIRT-T의 결합은 많은 설정에서 대상 도메인 클러스터링과 정렬을 더욱 향상시킨다.
• VMT는 VAT보다 계산적으로 더 저렴하면서 함께 사용할 때 보완적 이점을 제공한다.