[논문 리뷰] Dual Mixup Regularized Learning for Adversarial Domain Adaptation

Yuan Wu, Diana Inkpen외 1명|arXiv (Cornell University)|2020. 07. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 14

한 줄 요약

이 논문은 픽셀 수준에서 카테고리 수준 및 도메인 수준의 믹스업 정규화를 적용함으로써 적대적 도메인 적응을 향상시키는 새로운 비지도 도메인 적응 방법인 이중 믹스업 정규화 학습(DMRL)을 제안한다. 예측 일관성과 잠재 공간의 구조를 강화함으로써, DMRL은 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, USPS→MNIST에서 99.0%의 정확도와 MNIST→USPS에서 96.1%의 정확도를 기록하였다.

ABSTRACT

Recent advances on unsupervised domain adaptation (UDA) rely on adversarial learning to disentangle the explanatory and transferable features for domain adaptation. However, there are two issues with the existing methods. First, the discriminability of the latent space cannot be fully guaranteed without considering the class-aware information in the target domain. Second, samples from the source and target domains alone are not sufficient for domain-invariant feature extracting in the latent space. In order to alleviate the above issues, we propose a dual mixup regularized learning (DMRL) method for UDA, which not only guides the classifier in enhancing consistent predictions in-between samples, but also enriches the intrinsic structures of the latent space. The DMRL jointly conducts category and domain mixup regularizations on pixel level to improve the effectiveness of models. A series of empirical studies on four domain adaptation benchmarks demonstrate that our approach can achieve the state-of-the-art.

연구 동기 및 목표

• 예측의 일관성 문제를 유발할 수 있는 타겟 도메인의 클래스 인식 정보 부족 문제를 해결한다.
• 작은 배치 크기로 인한 미니배치 SGD에서의 도메인 불변 표현의 부족한 한계를 극복한다.
• 잠재 공간의 분류 가능성과 연속성을 향상시켜 비지도 도메인 적응에서의 도메인 이동을 줄인다.
• 카테고리 및 도메인 믹스업을 공동으로 활용하여 내재된 특징 구조를 풍부화함으로써 모델의 일반화 능력을 향상시킨다.
• 효과적인 정규화를 통해 여러 비지도 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 소스 및 타겟 도메인 양쪽에 카테고리 수준의 믹스업 정규화를 적용하여 예측 일관성을 강제하고 잠재 공간의 분류 가능성을 향상시킨다.
• 도메인 수준의 믹스업 정규화를 구현하여 각 도메인 내에서 혼합 샘플을 생성함으로써 내부 특징 패턴을 풍부화하고 도메인 불변 표현을 촉진한다.
• 두 정규화를 모두 픽셀 수준에서 수행하여 공간적 구조를 유지하면서 동시에 훈련 데이터를 증강한다.
• 두 정규화 항목을 도메인 구분자와 특징 추출기와 함께 통합된 적대적 훈련 프레임워크에 통합한다.
• 최적화 과정에서 믹스업 및 적대적 손실을 균형 잡기 위해 학습 가능한 하이퍼파rameter λs, λr, λt 및 α를 사용한다.
• 특징 추출기와 도메인 구분자 간의 최소 최대 게임을 통해 모델을 훈련하면서, 믹스업을 적용하여 특징 일반화를 향상시킨다.

실험 결과

연구 질문

• RQ1 카테고리 수준의 믹스업 정규화가 비지도 도메인 적응에서 잠재 공간의 분류 가능성을 향상시킬 수 있는가?
• RQ2 도메인 수준의 믹스업 정규화가 잠재 공간의 연속성과 도메인 불변성을 향상시킬 수 있는가?
• RQ3 두 가지 믹스업 정규화가 상호작용하여 도메인 이동을 줄이고 일반화 능력을 향상시키는 방식은 어떠한가?
• RQ4 비라벨 타겟 도메인의 클래스 인식 정보가 모델 성능에 미치는 영향은 무엇인가?
• RQ5 α, λs, λr, λt와 같은 하이퍼파rameter 설정에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• DMRL은 USPS→MNIST 벤치마크에서 99.0%의 정확도를 달성하여 비교된 모든 방법을 능가한다.
• MNIST→USPS 작업에서 DMRL은 96.1%의 정확도를 기록하여 도메인 이동 간 강력한 일반화 능력을 보여준다.
• 절단 실험을 통해 카테고리 믹스업과 도메인 믹스업 정규화 모두가 중요한 기여를 한다는 것이 확인되었으며, 특히 카테고리 믹스업이 더 큰 영향을 미친다.
• 비라벨 카테고리 믹스업(UCM)을 제거할 경우 성능 저하가 뚜렷하게 나타나, 타겟 도메인의 클래스 인식 정보의 중요성을 입증한다.
• 하이퍼파rameter 민감도 분석 결과, λt가 성능에 강한 영향을 미치며, 최적의 정확도는 λt=2.0에서 달성된다.
• α, λs, λr에 대한 변동에 대해 방법이 강인하여, 기본값 α=0.2, λs=0.0001, λr=0.00001로 설정해도 안정적인 성능을 유지한다.