[논문 리뷰] Multi-Adversarial Domain Adaptation

Zhongyi Pei, Zhangjie Cao외 2명|arXiv (Cornell University)|2018. 09. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 89

한 줄 요약

MADA는 소스와 타깃 데이터를 미세하게 다중-적대 정렬하기 위해 클래스별 도메인 식별기를 다중으로 도입하여, 기존의 단일 식별자 방법에 비해 비지도 도메인 적응을 개선합니다.

ABSTRACT

Recent advances in deep domain adaptation reveal that adversarial learning can be embedded into deep networks to learn transferable features that reduce distribution discrepancy between the source and target domains. Existing domain adversarial adaptation methods based on single domain discriminator only align the source and target data distributions without exploiting the complex multimode structures. In this paper, we present a multi-adversarial domain adaptation (MADA) approach, which captures multimode structures to enable fine-grained alignment of different data distributions based on multiple domain discriminators. The adaptation can be achieved by stochastic gradient descent with the gradients computed by back-propagation in linear-time. Empirical evidence demonstrates that the proposed model outperforms state of the art methods on standard domain adaptation datasets.

연구 동기 및 목표

• 데이터 분포의 다중 모드 구조를 활용하여 도메인 적응에서의 음의 전이(negative transfer)를 동기 부여하고 해결한다.
• 소스와 타깃 도메인 간의 미세한 정렬을 가능하게 하는 여러 클래스별 도메인 식별기를 사용하는 프레임워크를 제안한다.
• 라벨 예측 확률로 도메인 식별기 입력에 가중치를 주는 것이 전이 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 단일 도메인 식별기를 K개의 클래스별 식별기로 분할하고, 각 식별기는 클래스 k에 속하는 데이터를 정렬시키는 역할을 한다.
• 레이블 예측기 G_y를 사용하여 각 샘플에 대해 클래스 확률 ŷ_i^k를 생성하고 이를 각 G_d^k의 입력 가중치로 사용하여 소프트 어텐션과 같은 메커니즘을 만든다.
• K개의 모든 식별기에 걸친 도메인 판별 손실의 가중합과 함께 소스 분류 손실을 최소화하는 공동 목표를 최적화한다.
• 확률적 경사 하강법과 그래디언트 역전 메커니즘으로 도메인 혼란을 촉진하면서도 판별 가능한 클래스 구조를 보존하며 학습한다.
• 딥 네트워크와 호환되는 효율적인 학습을 위한 선형 시간 역전파를 제공한다.

실험 결과

연구 질문

• RQ1 여러 개의 분류기(다중 모드 구조)를 통해 모드별 구조를 활용하는 것이 소스와 타깃 도메인 간의 정렬을 개선할 수 있는가?
• RQ2 도메인 식별기 입력에 클래스 확률로 가중치를 주는 것이 단일 식별자에 비해 음의 전이를 줄이는가?
• RQ3 표준 벤치마크에서 기존의 딥-도메인 적응 방법에 비해 MADA의 성능은 어떤가?

주요 결과

방법	A→W	D→W	W→D	A→D	D→A	W→A	평균
MADA	78.5 ± 0.2	99.8 ± 0.1	100.0 ± .0	74.1 ± 0.1	56.0 ± 0.2	54.5 ± 0.3	77.1

• MADA는 비지도 도메인 적응에서 Office-31 및 ImageCLEF-DA 벤치마크에서 최첨단 방법을 능가한다.
• 도메인 차이가 큰 어려운 전이 작업에서 큰 이점을 보여준다(예: A→W, A→D, D→A, W→A).
• 결합 실험과 로버스트니스 분석에서 MADA는 단일 식별자 접근법보다 음의 전이를 더 잘 감소시키고 안정적인 수렴을 유지한다.
• 특징 시각화는 MADA가 RevGrad보다 더 구분 가능하고 도메인 불변의 특징을 산출함을 시사한다.
• 여러 식별자 간 매개변수를 완전히 공유하는 공유 전략은 성능을 저하시킬 수 있으며, 서로 다른 클래스별 식별기의 필요성을 뒷받침한다.
• Proxy A-distance 분석은 MADA 특징이 RevGrad나 일반 ResNet 특징보다 도메인 차이를 작게 만든다는 것을 보여준다.