[논문 리뷰] Dual Adversarial Domain Adaptation

Yuntao Du, Zhiwen Tan외 4명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 9

한 줄 요약

이 논문은 단일 2K차원 판별자로 도메인 수준 및 클래스 수준의 분포 정렬을 동시에 수행하면서, 두 판별자 간 이중 적대적 메커니즘을 도입하여 특징의 다양성과 강건성을 향상시키는 새로운 방법인 이중 적대적 도메인 적응(Dual Adversarial Domain Adaptation, DADA)을 제안한다. 이 방법은 Office-31 및 ImageCLEF-DA 벤치마크에서 최신 기준 성능을 달성하며, 특징의 분류 가능성이 향상되고 분포 불일치가 감소함에 따라 기준 방법 대비 평균 정확도가 1.0% 향상된다.

ABSTRACT

Unsupervised domain adaptation aims at transferring knowledge from the labeled source domain to the unlabeled target domain. Previous adversarial domain adaptation methods mostly adopt the discriminator with binary or $K$-dimensional output to perform marginal or conditional alignment independently. Recent experiments have shown that when the discriminator is provided with domain information in both domains and label information in the source domain, it is able to preserve the complex multimodal information and high semantic information in both domains. Following this idea, we adopt a discriminator with $2K$-dimensional output to perform both domain-level and class-level alignments simultaneously in a single discriminator. However, a single discriminator can not capture all the useful information across domains and the relationships between the examples and the decision boundary are rarely explored before. Inspired by multi-view learning and latest advances in domain adaptation, besides the adversarial process between the discriminator and the feature extractor, we also design a novel mechanism to make two discriminators pit against each other, so that they can provide diverse information for each other and avoid generating target features outside the support of the source domain. To the best of our knowledge, it is the first time to explore a dual adversarial strategy in domain adaptation. Moreover, we also use the semi-supervised learning regularization to make the representations more discriminative. Comprehensive experiments on two real-world datasets verify that our method outperforms several state-of-the-art domain adaptation methods.

연구 동기 및 목표

• 도메인 간 복잡한 다중 모달 특징 구조를 포괄하지 못하는 단일 판별자 방법의 한계를 해결하기 위해.
• 마진 및 조건부 정렬을 별도로 최적화하지 않고도 통합된 프레임워크 내에서 도메인 수준 및 클래스 수준의 분포를 동시에 정렬하기 위해.
• 두 판별자가 상호 보완적인 표현을 학습하도록 이중 적대적 메커니즘을 도입하여 특징의 분류 가능성을 향상시키기 위해.
• 판별자 간 이견을 활용하여 지원 영역 외 표본에 대한 강건성을 향상시키기 위해.
• 가상의 적대적 훈련(Virtual Adversarial Training, VAT) 및 엔트로피 최소화를 포함한 준지도 학습 정규화를 통합하여 의사 레이블의 품질과 표현 학습을 향상시키기 위해.

제안 방법

• 입력마다 도메인(소스/타겟)과 클래스(K개 클래스)를 동시에 분류할 수 있도록 2K차원 판별자를 사용하여 도메인 수준 및 클래스 수준의 정렬을 동시에 수행한다.
• 두 판별자를 이중 적대적으로 훈련한다: 타겟 샘플에서 이견을 최대화하도록 경쟁하게 하여 다양한 보완적인 특징을 학습하도록 유도한다.
• 특징 추출기는 두 판별자의 타겟 샘플에 대한 예측 간 격리 차이를 최소화하도록 최적화되어, 소스 도메인 지원 영역 외의 특징 생성을 방지한다.
• 엔트로피 최소화 및 가상의 적대적 훈련(Virtual Adversarial Training, VAT)을 통해 준지도 학습 정규화를 적용하여 특징의 분류 가능성과 강건성을 향상시킨다.
• 훈련 목표는 적대적 손실, 도메인-클래스 분류 손실, SSL 정규화를 조합하며, 하이퍼파ram터 λ_dta1, λ_dsa2, λ_dta2, 및 ε를 포함한다.
• Office-31 및 ImageCLEF-DA에서 평가되며, 분포 불일치와 모델 성능 측정을 위해 A-distance 및 정확도를 주요 지표로 사용한다.

실험 결과

연구 질문

• RQ1 단일 2K차원 판별자를 사용해 도메인 수준 및 클래스 수준의 정렬을 동시에 수행할 경우, 별도의 또는 이진 판별자 대비 도메인 적응 성능 향상이 이루어지는가?
• RQ2 두 판별자 간 이중 적대적 훈련 메커니즘이 특징의 다양성을 향상시키고 지원 영역 외 타겟 샘플 탐지 능력을 향상시키는가?
• RQ3 준지도 학습 정규화를 통합할 경우, 도메인 적응에서 의사 레이블의 품질과 표현 학습의 질이 얼마나 향상되는가?
• RQ4 대규모 도메인 이탈과 비균형 도메인 스케일(예: D→A 및 W→A 작업) 상황에서 제안된 방법의 성능은 어떠한가?
• RQ5 A-distance로 측정했을 때, 이중 적대적 메커니즘이 기존 방법보다 분포 불일치를 더 효과적으로 줄이는가?

주요 결과

• Office-31 데이터셋에서 DADA는 비교된 모든 방법 중 가장 높은 평균 정확도를 기록했으며, DANN, ADDA, MADA 및 RCA를 모두 초월한다.
• 준지도 학습 정규화를 제거한 경우에도 DADA는 기준 방법 대비 평균 정확도를 1.0% 향상시켜 엔트로피 최소화 및 VAT의 효과를 입증한다.
• ImageCLEF-DA에서 DADA는 ResNet-50 소스 전용 기준 80.7%에서 89.3%로 정확도를 향상시켜 균형 잡힌 다중 도메인 데이터에 대한 강력한 일반화 능력을 보여준다.
• A-distance 지표는 DADA가 가장 작은 도메인 간 불일치를 기록했으며(D→W: 1.14, W→D: 1.18) 도메인 불변 표현 학습이 더 우수하다는 것을 시사한다.
• 대규모 도메인 이탈이 발생하는 과제(예: D→A 및 W→A)에서도 DADA는 뛰어난 성능을 유지하여 분포 이탈에 대한 강건성을 입증한다.
• t-SNE를 통한 특징 시각화 결과, DADA는 소스 전용 기준 대비 더 잘 정렬되고 더 분류 가능한 소스 및 타겟 특징을 생성하는 것으로 확인된다.