[논문 리뷰] Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization

Marin Scalbert, Maria Vakalopoulou외 1명|arXiv (Cornell University)|2021. 06. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 10

한 줄 요약

이 논문은 여러 소스 도메인 간의 클래스 조건부 분포를 정렬하고, 타겟 도메인에서의 일致성 정규화 및 하드 편가중 가짜 레이블링을 통해 다중 소스 비지도 도메인 적응(MSDA)을 수행하는 새로운 프레임워크 CMSDA를 제안한다. 이 방법은 혼합된 소스 샘플에 대해 교차 엔트로피 손실과 대비 손실을 동시에 최적화하여 세 가지 표준 다중 소스 UDA 벤치마크에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Multi-Source Unsupervised Domain Adaptation (multi-source UDA) aims to learn a model from several labeled source domains while performing well on a different target domain where only unlabeled data are available at training time. To align source and target features distributions, several recent works use source and target explicit statistics matching such as features moments or class centroids. Yet, these approaches do not guarantee class conditional distributions alignment across domains. In this work, we propose a new framework called Contrastive Multi-Source Domain Adaptation (CMSDA) for multi-source UDA that addresses this limitation. Discriminative features are learned from interpolated source examples via cross entropy minimization and from target examples via consistency regularization and hard pseudo-labeling. Simultaneously, interpolated source examples are leveraged to align source class conditional distributions through an interpolated version of the supervised contrastive loss. This alignment leads to more general and transferable features which further improves the generalization on the target domain. Extensive experiments have been carried out on three standard multi-source UDA datasets where our method reports state-of-the-art results.

연구 동기 및 목표

• 큰 도메인 이동 상황에서 기존의 다중 소스 UDA 방법들이 도메인 간 클래스 조건부 분포를 정렬하지 못해 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 소스 도메인의 클래스 조건부 분포를 직접 정렬함으로써 특징 전이 가능성 향상을 위해, 보간된 감독 대비 손실의 변형을 사용하기 위해.
• 비라벨 타겟 데이터에 대해 일치성 정규화와 하드 편가중 가짜 레이블링을 통해 타겟 도메인에서의 강인성과 일반화 성능 향상시키기 위해.
• 소스 도메인에 대해 MixUp 스타일의 데이터 증강을 활용하여 특징의 다양성과 모델의 캘리브레이션 향상시키기 위해.

제안 방법

• 프레임워크는 MixUp를 통해 소스 예제를 보간하여 혼합된 학습 샘플을 생성하며, 이는 표준 교차 엔트로피 손실과 보간된 감독 대비 손실의 변형을 계산하는 데 사용된다.
• 보간된 소스 샘플에 감독 대비 손실을 적용하여, 서로 다른 소스 도메인 간에 동일한 클래스 내 특징 클러스터링을 유도함으로써 클래스 조건부 분포의 정렬을 향상시킨다.
• 타겟 도메인에서는 동일한 모델에 대해 다양한 증강을 적용한 후 일치성 정규화를 적용하며, 높은 신뢰도의 가짜 레이블 예측값(임계값 τ 이상)만 비지도 손실에 사용된다.
• 최종 목적함수는 라벨이 있는 소스 데이터에 대한 감독 교차 엔트로피 손실, 혼합 소스 샘플에 대한 보간된 대비 손실, 그리고 하드 편가중 가짜 레이블링을 적용한 비라벨 타겟 데이터에 대한 일치성 정규화 비지도 손실을 조합한다.
• 대비 손실에서 온도 하이퍼파ram터 T는 특징의 균일성과 내성성을 균형 잡기 위해 사용되며, T=0.1일 때 최적의 성능을 보였다.
• 모델는 소스에서의 구분 능력 있는 특징 학습과 타겟에서의 도메인 불변 적응을 보장하는 통합 목적함수를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 감독 대비 학습이 다중 소스 도메인 적응으로 효과적으로 확장되어 서로 다른 소스 도메인 간의 클래스 조건부 분포를 정렬할 수 있는가?
• RQ2 MixUp를 통해 소스 예제를 보간함으로써 도메인 적응 모델의 일반화 성능과 강인성이 어떻게 향상되는가?
• RQ3 다중 소스 UDA에서 대비 손실의 균일성과 내성성 간 최적의 균형은 무엇이며, 온도 T는 성능에 어떤 영향을 미치는가?
• RQ4 가짜 레이블링에서 신뢰도 임계값 τ의 선택이 타겟 도메인 적응의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ5 대비 학습과 일치성 정규화의 조합이 큰 도메인 이동 상황에서 다중 소스 UDA에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• CMSDA는 세 가지 표준 다중 소스 UDA 벤치마크인 MiniDomainNet, Office-Home, VisDA-2017에서 최신 기준 성능을 달성한다.
• MiniDomainNet에서, 이 방법은 모든 타겟 도메인 평균 정확도 87.4%를 기록하여 이전 최신 기준 방법을 초월한다.
• 절단 실험 결과, 보간된 대비 손실을 사용할 경우 도메인 이동이 클수록 성능 향상이 뚜렷하게 나타난다.
• 대비 손실의 최적 온도 T는 0.1로, 특징의 균일성과 클래스 내성성 간 균형을 잘 잡는 것으로 나타났다.
• 신뢰도 임계값 τ=0.95일 때 정보가 풍부한 가짜 레이블을 사용하면서 노이즈가 많은 레이블을 피하는 데 최적의 균형을 이룬다. τ > 0.95 또는 τ < 0.9일 경우 성능 저하가 관찰된다.
• 모델는 부정적 전이에 대해 강인성을 보이며, 소스 도메인이 매우 다양하거나 다중모달일 경우에도 높은 성능을 유지한다.