[논문 리뷰] Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning Consistent and Contrastive Feature Representations

Manuel Pérez-Carrasco, Pavlos Protopapas외 1명|arXiv (Cornell University)|2022. 04. 04.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

Con2DA는 강한 데이터 증강과 정규화된 특징 공간 최적화를 통해 일관되고 대비적인 특징 표현을 학습하는 간단하면서도 효과적인 프레임워크를 제안한다. 약한 증강과 강한 증강 뷰 간의 일관성과 대비 및 자기지도 학습 손실을 활용함으로써, Office-31, Office-Home, DomainNet에서 최신 기준 성능을 달성하며 정확도를 최대 1.4% 향상시킨다.

ABSTRACT

In this work, we present Con$^{2}$DA, a simple framework that extends recent advances in semi-supervised learning to the semi-supervised domain adaptation (SSDA) problem. Our framework generates pairs of associated samples by performing stochastic data transformations to a given input. Associated data pairs are mapped to a feature representation space using a feature extractor. We use different loss functions to enforce consistency between the feature representations of associated data pairs of samples. We show that these learned representations are useful to deal with differences in data distributions in the domain adaptation problem. We performed experiments to study the main components of our model and we show that (i) learning of the consistent and contrastive feature representations is crucial to extract good discriminative features across different domains, and ii) our model benefits from the use of strong augmentation policies. With these findings, our method achieves state-of-the-art performances in three benchmark datasets for SSDA.

연구 동기 및 목표

• 제한된 라벨이 부여된 타겟 데이터를 가진 준지도 학습 도메인 적응(SSDA)에서 도메인 이동 문제를 다루기.
• 최근의 일관성 정규화와 대비 학습 기법을 SSDA 설정으로 확장하기.
• 정규화된 특징 표현을 사용하여 소스 및 타겟 도메인 간의 일반화 능력과 특징의 구분 능력을 향상시키기.
• 강한 데이터 증강 정책과 손실 구성 요소가 SSDA 성능에 미치는 영향을 조사하기.
• 복잡한 아키텍처 수정 없이도 표준 SSDA 벤치마크에서 최신 기준 성능을 달성하기.

제안 방법

• 동일한 입력의 쌍으로 구성된 뷰를 생성하기 위해 무작위 자르기, 수평 뒤집기, RandAugment 등의 스토하스틱 약한 및 강한 데이터 증강을 적용한다.
• 증강된 입력을 공유된 특징 추출기로 통과시키고 출력 특징을 단위 초구면으로 정규화한다.
• 동일한 샘플인 양의 쌍을 가까이 오게 하는 대비 손실을 사용하여 약한 증강과 강한 증강 뷰 간의 특징 일관성을 강제한다.
• 비라벨 타겟 데이터에 대해 자기지도 대비 손실을 적용하여 양의 쌍을 정렬하고 서로 다른 입력의 음의 쌍을 분리한다.
• 교차 엔트로피와 코사인 유사도 손실을 통해 라벨이 부여된 소스 및 타겟 데이터를 정규화된 프로토타입을 가진 선형 분류기로 감독한다.
• 학습 중 일관성, 대비, 자기지도 학습 구성 요소를 통합한 복합 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 준지도 학습 도메인 적응에서 일관성 학습과 대비 학습을 효과적으로 융합하여 특징 일반화를 향상시킬 수 있는가?
• RQ2 RandAugment와 같은 강한 증강 정책은 저샘플 SSDA 환경에서 성능에 어떤 영향을 미치는가?
• RQ3 대비 손실과 자기지도 학습 손실이 도메인 정렬 향상에 기여하는 상대적 기여도는 어떠한가?
• RQ4 라인어 분류기 가중치를 정규화하면 제한된 라벨 데이터를 가진 SSDA에서 성능 향상이 이루어지는가?
• RQ5 제안된 구성 요소들이 표준 SSDA 벤치마크에서 최신 기준 성능을 달성하기 위해 어떻게 상호작용하는가?

주요 결과

• 특히 RandAugment와 같은 강한 증강 정책의 사용은 성능을 크게 향상시키며, 베이스라인 약한 증강 대비 Office-31 (W→A)에서 검증 정확도를 3.3% 향상시키고, DomainNet (R→C)에서는 1.3% 향상시킨다.
• 대비 손실을 제거하면 (w/o ℒcont) Office-31 (W→A)에서 정확도가 66.7%로 떨어지며, 이는 강력한 표현을 학습하는 데서 대비 손실의 핵심적 역할을 확인한다.
• 자기지도 학습 손실을 제거하면 (w/o ℒself) Office-31 (W→A)에서 정확도가 2.2% 감소하여, 비라벨 타겟 데이터를 효과적으로 활용하는 데서 자기지도 학습 손실의 중요성을 확인한다.
• 라인어 분류기 가중치를 정규화하면 (w cosine) Office-31 (W→A)에서 정확도가 72.0%로 향상되며, 이는 프로토타입과의 코사인 유사도가 일반화 능력을 향상시킨다는 것을 보여준다.
• Con2DA는 Office-31, Office-Home, DomainNet에서 최신 기준 성능을 달성하며, 이전 방법 대비 평균 정확도를 최대 1.4% 향상시킨다.
• 절단 실험을 통해 일관성, 대비, 자기지도 학습 손실의 조합이 SSDA에서 최적의 성능을 내기 위해 필수적임을 확인한다.