[논문 리뷰] Cross-Domain Adaptive Clustering for Semi-Supervised Domain Adaptation

Jichang Li, Guanbin Li외 2명|arXiv (Cornell University)|2021. 04. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 7

한 줄 요약

이 논문은 적대적 적응 클러스터링 손실과 신뢰도 기반 가짜 레이블링을 통해 타겟 도메인 내 특징 클러스터링을 향상시키는 새로운 준지도 학습 도메인 적응 방법인 Cross-Domain Adaptive Clustering (CDAC)을 제안한다. 도메인 간 클러스터별 특징를 정렬하고 클래스별 클러스터 코어를 강화함으로써, CDAC은 DomainNet, Office-Home, Office 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법보다 평균 정확도에서 최대 25.3% 향상시켰다.

ABSTRACT

In semi-supervised domain adaptation, a few labeled samples per class in the target domain guide features of the remaining target samples to aggregate around them. However, the trained model cannot produce a highly discriminative feature representation for the target domain because the training data is dominated by labeled samples from the source domain. This could lead to disconnection between the labeled and unlabeled target samples as well as misalignment between unlabeled target samples and the source domain. In this paper, we propose a novel approach called Cross-domain Adaptive Clustering to address this problem. To achieve both inter-domain and intra-domain adaptation, we first introduce an adversarial adaptive clustering loss to group features of unlabeled target data into clusters and perform cluster-wise feature alignment across the source and target domains. We further apply pseudo labeling to unlabeled samples in the target domain and retain pseudo-labels with high confidence. Pseudo labeling expands the number of ``labeled" samples in each class in the target domain, and thus produces a more robust and powerful cluster core for each class to facilitate adversarial learning. Extensive experiments on benchmark datasets, including DomainNet, Office-Home and Office, demonstrate that our proposed approach achieves the state-of-the-art performance in semi-supervised domain adaptation.

연구 동기 및 목표

• 기존 준지도 학습 도메인 적응 방법이 내부 도메인 클래스 서브-분포와 도메인 간 특징 분포를 동시에 정렬하지 못하는 한계를 해결한다.
• 희소한 레이블이 있는 샘플로 인해 타겟 도메인에서 약하고 불안정한 클러스터 코어가 발생하는 문제를 해결한다.
• 특징의 구분 능력을 향상시키고 소스 및 타겟 도메인 간 특징 불일치를 줄임으로써 모델의 일반화 능력을 향상시킨다.
• 적대적 클러스터링과 가짜 레이블링을 통해 도메인 간 및 도메인 내 적응을 동시에 가능하게 하는 통합 프레임워크를 개발한다.

제안 방법

• 내부 도메인 적응을 촉진하기 위해, 미레이블된 타겟 특징을 클래스별 클러스터로 그룹화하는 적대적 적응 클러스터링(AAC) 손실을 도입한다.
• 특징 추출기의 관점에서 AAC 손실을 최소화하고 분류기의 관점에서 최대화함으로써 소스 및 타겟 도메인 간 클러스터별 특징 정렬을 수행한다.
• 신뢰도 기반 가짜 레이블링을 적용하여, 각 클래스당 신뢰도 높은 '레이블링된' 샘플 수를 늘려 클러스터 코어를 강화한다.
• 최소-최대 학습을 통해 모델을 최적화한다: 클러스터 형성은 AAC 손실을 최소화하고, 도메인 간 정렬은 최대화한다.
• AAC 손실과 가짜 레이블링 손실을 교차 엔트로피 손실과 통합하여 특징 추출기와 분류기를 함께 훈련한다.
• t-SNE 시각화를 통해 훈련 중 클러스터별 정렬이 점진적으로 이루어지는 것을 확인한다.

실험 결과

연구 질문

• RQ1 샘플별 또는 분포별 정렬과 비교해 도메인 간 클러스터별 특징 정렬이 준지도 학습 도메인 적응 성능을 향상시키는가?
• RQ2 신뢰도 기반 가짜 레이블링이 타겟 도메인 클러스터 코어의 강건성과 대표성을 향상시키는가?
• RQ3 적대적 적응 클러스터링이 도메인 간 특징 불일치를 얼마나 줄이고 모델 일반화를 향상시키는가?
• RQ4 가짜 레이블링과 적대적 클러스터링의 조합이 저샷 설정에서 성능에 어떤 영향을 미치는가?

주요 결과

• CDAC은 DomainNet, Office-Home, Office 벤치마크에서 최신 기술 수준 성능을 달성하여 기준 모델 대비 평균 정확도에서 최대 25.3% 향상시켰다.
• 적대적 적응 클러스터링 손실은 기준 방법보다 클러스터 코어 거리(CCD)를 더 효과적으로 감소시켜 도메인 간 클러스터 정렬이 향상됨을 시사한다.
• 가짜 레이블링은 높은 정확도를 달성하여 1-샷 설정에서 매 에포크 최대 63.8%의 미레이블된 샘플이 올바른 가짜 레이블을 할당받았다.
• 교차 엔트로피, AAC, 가짜 레이블링 손실을 모두 포함한 모델이 가장 높은 분류 정확도를 기록하여 각 구성 요소가 상호 보완적 이점을 가짐을 입증했다.
• t-SNE 시각화 결과, 타겟 도메인 특징가 훈련 중 해당 클러스터 코어로 점차 수렴하고 소스 도메인 클러스터와 정렬됨을 확인했다.
• 절단 분석 결과, AAC 손실만 또는 가짜 레이블링 손실만 사용할 경우 각각 17.6%, 23.4% 향상되었으며, 전체 모델이 가장 우수한 성능을 기록했다.