[논문 리뷰] Cluster Alignment with a Teacher for Unsupervised Domain Adaptation

Zhijie Deng, Yucen Luo외 1명|arXiv (Cornell University)|2019. 03. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 21

한 줄 요약

이 논문은 교사 모델을 활용해 타겟 도메인의 의사 레이블을 생성함으로써 특징의 분류 가능성을 향상시키는 새로운 비지도 도메 적응 방법인 Cluster Alignment with a Teacher (CAT)을 제안한다. CAT는 두 도메인 모두에서 클래스 조건부 클러스터링을 공동으로 최적화하고, 해당 도메인 간에 대응하는 클러스터를 정렬함으로써 보다 분류 가능하고 도메인에 강인한 특징 공간을 학습함으로써 표준 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Deep learning methods have shown promise in unsupervised domain adaptation, which aims to leverage a labeled source domain to learn a classifier for the unlabeled target domain with a different distribution. However, such methods typically learn a domain-invariant representation space to match the marginal distributions of the source and target domains, while ignoring their fine-level structures. In this paper, we propose Cluster Alignment with a Teacher (CAT) for unsupervised domain adaptation, which can effectively incorporate the discriminative clustering structures in both domains for better adaptation. Technically, CAT leverages an implicit ensembling teacher model to reliably discover the class-conditional structure in the feature space for the unlabeled target domain. Then CAT forces the features of both the source and the target domains to form discriminative class-conditional clusters and aligns the corresponding clusters across domains. Empirical results demonstrate that CAT achieves state-of-the-art results in several unsupervised domain adaptation scenarios.

연구 동기 및 목표

• 특징 공간 내에서 세부적인 클래스 조건부 구조를 忽시하는 것에 비해 오직 근사 분포만 정렬하는 기존 비지도 도메 적응 방법의 한계를 해결한다.
• 선형 변환 또는 고복잡도의 최근접 이웃 모델에 의존하는 이전의 클러스터링 기반 방법의 단점을 극복한다. 이러한 방법들은 딥 네트워크 학습과 호환되지 않는다.
• 딥 러닝과 호환되는 프레임워크를 개발하여 소스 및 타겟 도메인 양쪽에서 분류 가능한 클러스터링 구조를 효과적으로 활용함으로써 더 나은 도메인 적응을 실현한다.
• 모수 분포가 다를 경우나 모드 분포가 다를 경우와 같이 근사 분포 정렬만으로는 실패하는 도메인 이동이 심한 상황에서도 더 견고한 적응을 가능하게 한다.

제안 방법

• 소스 데이터에서 학습된 학생 모델의 암묵적 앙상블인 교사 분류기를 활용해, 레이블이 없는 타겟 샘플에 대해 신뢰할 수 있는 의사 레이블을 생성한다.
• 동일한 클래스의 특징이 특징 공간 내에서 단단히 뭉치고, 다른 클래스의 특징는 분리되도록 유도하는 클래스 조건부 클러스터링 손실을 적용한다.
• 소스 및 타겟 도메인 간에 동일한 클래스에 대응하는 클러스터를 정렬하는 조건부 특징 매칭 손실을 도입한다.
• 라벨이 있는 소스 데이터에 대한 지도 학습 손실, 클러스터링 손실, 클러스터 정렬 손실의 조합을 사용해 모델을 엔드 투 엔드로 훈련함으로써 분류 가능하고 정렬된 표현을 공동 최적화한다.
• JAN, RevGrad, rRevGrad와 같은 모델과의 통합이 가능하도록 하여 기존의 근사 분포 정렬 방법과의 호환성을 확보한다.
• t-SNE를 사용해 특징 공간을 시각화하고, K-means를 통해 클러스터링 정확도를 평가하여 학습된 특징의 분류 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 도메인 양쪽에서 클래스 조건부 클러스터링 구조를 통합함으로써 근사 분포 정렬을 초월한 비지도 도메 적응 성능 향상을 달성할 수 있는가?
• RQ2 도메 간 분포 이동이 발생할 경우, 교사 모델이 레이블이 없는 타겟 데이터에 대해 신뢰할 수 있는 의사 레이블을 얼마나 효과적으로 생성할 수 있는가?
• RQ3 도메 간 동일한 클래스에 대응하는 클러스터 수준의 정렬을 강제로 적용할 경우, 기존의 표준 도메인 정렬보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 매우 심한 도메인 이동, 클래스 불균형 또는 모드 불일치가 발생하는 상황에서도 제안된 방법이 기존 최신 기술(SOTA) 방법을 초월할 수 있는가?

주요 결과

• rRevGrad와 결합했을 때, SVHN에서 MNIST로의 벤치마크에서 CAT는 기존의 JAN 및 RevGrad를 포함한 모든 방법을 뛰어넘는 새로운 최고 성능 평균 정확도 87.3%를 달성한다.
• ResNet-50를 사용한 Office-Home 데이터셋에서 CAT는 평균 정확도 86.3%를 기록하여 JAN(85.8%) 및 RevGrad(85.0%)와 같은 베이스라인 방법을 능가한다.
• rRevGrad+CAT가 학습한 특징의 t-SNE 시각화 결과는 각 클래스별로 단단하고 잘 분리된 클러스터를 보이며, RevGrad가 보여주는 겹치고 구조가 뚜렷하지 않은 특징에 비해 훨씬 뛰어난 분류 가능성을 나타낸다.
• 정렬된 특징에 대해 K-means 클러스터링을 수행한 결과, rRevGrad+CAT는 가장 높은 클러스터링 정확도를 기록하여 학습된 특징 공간 내에서 더 의미 있고 분류 가능한 클러스터링 구조가 존재함을 확인한다.
• 절단 분석 결과, 클래스 조건부 클러스터링 손실과 클러스터 정렬 손실 모두 성능 향상에 기여하며, 특히 의사 레이블 신뢰도 확보에 핵심적인 역할을 하는 교사 모델의 기여도가 뚜렷하다.
• CAT는 기존의 도메인 정합 방법과 호환되며, rRevGrad 또는 JAN과의 통합을 통해 다양한 데이터셋과 아키텍처에서 일관된 성능 향상을 이끌어낸다.