[논문 리뷰] Adversarial Domain Adaptation with Domain Mixup

Minghao Xu, Jian Zhang외 5명|arXiv (Cornell University)|2019. 12. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은 소프트 레이블과 트리플릿 손실을 사용하여 픽셀 수준과 특징 수준에서 도메인 믹스업을 도입함으로써 적대적 훈련을 향상시키는 DM-ADA라는 도메인 적응 방법을 제안한다. 이는 더 연속적인 도메인 불변 잠재 공간을 생성한다. 이 방법은 도메인 분포의 변화가 클 경우 특히 성능이 뛰어나며, VisDA-2017 및 Office-31 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Recent works on domain adaptation reveal the effectiveness of adversarial learning on filling the discrepancy between source and target domains. However, two common limitations exist in current adversarial-learning-based methods. First, samples from two domains alone are not sufficient to ensure domain-invariance at most part of latent space. Second, the domain discriminator involved in these methods can only judge real or fake with the guidance of hard label, while it is more reasonable to use soft scores to evaluate the generated images or features, i.e., to fully utilize the inter-domain information. In this paper, we present adversarial domain adaptation with domain mixup (DM-ADA), which guarantees domain-invariance in a more continuous latent space and guides the domain discriminator in judging samples' difference relative to source and target domains. Domain mixup is jointly conducted on pixel and feature level to improve the robustness of models. Extensive experiments prove that the proposed approach can achieve superior performance on tasks with various degrees of domain shift and data complexity.

연구 동기 및 목표

• 기존의 적대적 도메인 적응 방법이 하드 레이블에 의존하고 연속적인 도메인 불변 표현을 보장하지 못하는 한계를 해결하기 위해.
• 이분법적 레이블 대신 소프트 점수를 사용하여 도메인 구분자(Discriminator)가 소스 및 타겟 도메인의 샘플 유사도를 더 잘 평가할 수 있도록 하기 위해.
• 소스 및 타겟 도메인 샘플을 픽셀 수준과 특징 수준에서 혼합함으로써 교차 도메인 상호작용을 통해 특징 패턴을 풍부화하기 위해.
• 복잡한 데이터 분포와 높은 도메인 분포 변화 하에서 모델의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 혼합 비율 λ를 사용하여 소스 및 타겟 도메인의 이미지를 선형으로 보간함으로써 픽셀 수준에서 도메인 믹스업을 도입한다.
• 두 도메인의 깊은 특징을 보간하여 중간 잠재 표현을 생성함으로써 특징 수준에서 믹스업을 적용한다.
• 도메인 구분자에 대한 지도로 소프트 레이블(즉, 믹스업 비율)을 사용하여, 이는 구분자가 하드 0/1 레이블 대신 확률 점수를 출력할 수 있도록 한다.
• 유연한 마진을 가진 트리플릿 손실을 사용하여, 혼합 샘플과 소스/타겟 도메인 간의 상대적 도메인 차이를 학습할 수 있도록 도메인 구분자를 이끌어낸다.
• 도메인 정렬 과정에서 클래스 정보를 유지하기 위해 분류 브랜치(D_cls)와 가짜 타겟 레이블을 통합한다.
• 특징 추출기, 도메인 구분자, 분류 헤드를 동시에 최적화하는 GAN 기반 프레임워크를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 픽셀 수준과 특징 수준에서 모두 도메인 믹스업을 적용하면 잠재 공간 내 도메인 불변 표현의 연속성이 향상되는가?
• RQ2 하드 레이블 대신 믹스업 비율(소프트 레이블)을 사용하면 도메인 구분자의 도메인 차이를 구분하는 능력이 향상되는가?
• RQ3 유연한 마진을 가진 트리플릿 손실은 도메인 구분자의 수렴과 성능 향상에 어떻게 기여하는가?
• RQ4 픽셀 수준과 특징 수준의 병합 믹스업은 높은 도메인 분포 변화와 복잡한 데이터 분포 하에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법은 하이퍼파rameter ω와 φ에 얼마나 민감한가? 그리고 이 값들을 다양한 작업 간에 고정된 값으로 설정할 수 있는가?

주요 결과

• VisDA-2017 벤치마크에서 DM-ADA는 모든 적응 방법 중 가장 높은 분류 정확도를 달성하였으며, ImageNet 미리 훈련된 ResNet-101 기준보다 유의미하게 뛰어난 성능을 보였다.
• 특징 수준의 믹스업만으로도 더 연속적인 도메인 불변 잠재 공간을 생성하여 성능 향상을 이룬 반면, 픽셀 수준의 믹스업은 구분자가 정교한 소프트 점수를 출력할 수 있도록 해 더 높은 성능 향상을 이끌어냈다.
• 트리플릿 손실과 도메인 믹스업의 조합은 t-SNE 시각화에서 가장 명확한 클래스 간 분리 효과를 보였으며, 이는 향상된 특징 분리 능력을 시사한다.
• 분류 브랜치(D_cls)와 가짜 타겟 레이블의 추가로 정확도가 1.7% 향상되어, 클래스 인식 기반 도메인 정렬을 유지하는 데 효과적임을 입증하였다.
• 제안된 방법은 하이퍼파rameter 변화에 대해 강건하며, 모든 Office-31 작업에서 ω ≈ 0.1 및 φ ≈ 0.01일 때 안정적인 성능을 보였다.
• 민감도 분석 결과, ω와 φ의 다양한 값 범위에서도 이전 성능이 유지되어 하이퍼파rameter 조정이 실용적으로 용이함을 확인하였다.