[논문 리뷰] Cross-domain Contrastive Learning for Unsupervised Domain Adaptation

Rui Wang, Zuxuan Wu외 4명|arXiv (Cornell University)|2021. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 14

한 줄 요약

이 논문은 동일한 클래스에 속하는 서로 다른 도메인의 샘플 간의 거리를 최소화하고, 다른 클래스의 샘플 간의 거리를 증가시킴으로써 교차 도메인 특징을 정렬하는 대trastive learning 프레임워크인 CDCL을 제안한다. 가짜 레이블을 사용한 타겟 도메인 특징을 통해 Office-31 및 VisDA-2017에서 최신 기준 성능(SOTA)을 달성하며, 소스 데이터가 없는 환경에서도 최소한의 수정으로 적용 가능하다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer knowledge learned from a fully-labeled source domain to a different unlabeled target domain. Most existing UDA methods learn domain-invariant feature representations by minimizing feature distances across domains. In this work, we build upon contrastive self-supervised learning to align features so as to reduce the domain discrepancy between training and testing sets. Exploring the same set of categories shared by both domains, we introduce a simple yet effective framework CDCL, for domain alignment. In particular, given an anchor image from one domain, we minimize its distances to cross-domain samples from the same class relative to those from different categories. Since target labels are unavailable, we use a clustering-based approach with carefully initialized centers to produce pseudo labels. In addition, we demonstrate that CDCL is a general framework and can be adapted to the data-free setting, where the source data are unavailable during training, with minimal modification. We conduct experiments on two widely used domain adaptation benchmarks, i.e., Office-31 and VisDA-2017, for image classification tasks, and demonstrate that CDCL achieves state-of-the-art performance on both datasets.

연구 동기 및 목표

• 비지도 도메인 적응에서 도메인 이동 문제를 해결하기 위해 도메인 불변 특징을 학습하는 것.
• 수동 레이블링에 의존하지 않고 대비 자기지도 학습을 활용하여 도메인 정렬을 달성하는 것.
• 표준 UDA 및 소스 데이터가 없는 UDA 환경 모두에서 효과적인 방법을 개발하는 것.
• 도메인 간 조건부 클래스 대비 손실을 사용하여 특징 정렬을 향상시키는 것.
• 프로토타입 기반 적응을 통해 도메인 적응에서 소스 데이터 의존도를 줄이는 것.

제안 방법

• CDCL는 동일한 클래스에 속하는 서로 다른 도메인의 샘플을 양성 쌍으로 간주하고, 다른 클래스의 샘플을 부정 쌍으로 간주하는 대비 손실을 사용한다.
• 소스 도메인의 클래스 프로토타입으로 초기화된 k-means 클러스터링을 통해 타겟 도메인 샘플의 가짜 레이블을 생성한다.
• 대비 손실은 앵커 특징과 동일한 클래스에 속한 교차 도메인 특징 간의 거리를, 다른 클래스의 교차 도메인 특징 간의 거리보다 최소화한다.
• 데이터 없는 설정에서는 소스 샘플을 사전 학습된 클래스 프로토타입으로 대체하여 소스 데이터에 접근하지 않더라도 적응이 가능하게 한다.
• 프레임워크는 온도 매개변수 τ와 대비 손실과 분류 손실을 균형 잡는 데 사용되는 하이퍼파ram터 λ를 사용한다.
• 교차 엔트로피와 대비 목표를 함께 사용하여 엔드 투 엔드 학습을 통해 특징 표현을 개선한다.

실험 결과

연구 질문

• RQ1 교차 도메인 양성 및 부정 쌍을 형성함으로써 대비 자기지도 학습이 비지도 도메인 적응에 효과적으로 적용될 수 있는가?
• RQ2 클래스 조건부 대비 학습은 도메인 무관 또는 도메인 내 대비 방법에 비해 도메인 정렬을 어떻게 향상시키는가?
• RQ3 학습 중 소스 데이터가 가용하지 않을 경우 CDCL도 강력한 성능을 유지할 수 있는가?
• RQ4 τ 및 λ와 같은 하이퍼파ram터에 대해 CDCL는 다양한 벤치마크에서 얼마나 민감한가?
• RQ5 소스에서 유래한 프로토타입의 사용이 데이터 없는 환경에서 효과적인 도메인 적응을 가능하게 하는가?

주요 결과

• CDCL는 Office-31 벤치마크에서 최신 기준 성능을 달성하여 D→W 및 W→D 적응 작업 모두에서 이전 방법들을 능가한다.
• VisDA-2017에서 CDCL는 표준 UDA 설정 하에 88.6%의 top-1 정확도를 기록하여 기존 SOTA 방법을 초월한다.
• 절단 실험을 통해 이중 방향 앵커를 사용한 교차 도메인 대비 학습이 가장 높은 성능을 내며, 도메인 내 또는 병합 도메인 접근 방식보다 뛰어나다.
• CDCL는 온도 매개변수 τ와 하이퍼파ram터 λ에 대해 낮은 민감도를 보이며, 넓은 값 범위에서 안정적인 성능을 유지한다.
• t-SNE 시각화 결과 CDCL가 소스 및 타겟 도메인 특징을 성공적으로 정렬하여 도메인 이동을 감소시키고 클래스 간 분리도 향상시킴을 확인했다.
• 특징 검색 결과 CDCL가 학습 과정에서 서로 다른 도메인의 동일한 클래스 샘플 간의 거리를 점차 줄임을 확인하여 학습 동역학을 검증했다.