[논문 리뷰] CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation

Ankit Singh|arXiv (Cornell University)|2021. 06. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 12

한 줄 요약

이 논문은 원본 및 강화된 비라벨링된 타겟 이미지 간의 인스턴스 수준 대비 학습과 소스 및 타겟 도메인 중심점 간의 클래스별 대비 학습을 통해 이중도메 및 내도메인 차이를 동시에 최소화하는 대비 학습 프레임워크인 CLDA를 제안한다. CLDA는 DomainNet, Office-Home 및 Office31 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 낮은 샘플 수의 타겟 레이블링 환경에서 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to align the labeled source distribution with the unlabeled target distribution to obtain domain invariant predictive models. However, the application of well-known UDA approaches does not generalize well in Semi-Supervised Domain Adaptation (SSDA) scenarios where few labeled samples from the target domain are available. In this paper, we propose a simple Contrastive Learning framework for semi-supervised Domain Adaptation (CLDA) that attempts to bridge the intra-domain gap between the labeled and unlabeled target distributions and inter-domain gap between source and unlabeled target distribution in SSDA. We suggest employing class-wise contrastive learning to reduce the inter-domain gap and instance-level contrastive alignment between the original (input image) and strongly augmented unlabeled target images to minimize the intra-domain discrepancy. We have shown empirically that both of these modules complement each other to achieve superior performance. Experiments on three well-known domain adaptation benchmark datasets namely DomainNet, Office-Home, and Office31 demonstrate the effectiveness of our approach. CLDA achieves state-of-the-art results on all the above datasets.

연구 동기 및 목표

• 제한된 타겟 레이블 데이터를 가진 준감독 도메인 적응(SSDA) 환경에서 무 supervision 도메인 적응(UDA) 방법의 열악한 일반화 성능을 해결한다.
• SSDA에서 이중도메 차이(소스 및 타겟 도메인 간의 차이)와 내도메인 차이(라벨이 부여된 타겟 샘플과 라벨이 없는 타겟 샘플 간의 차이)를 모두 감소시킨다.
• 특징의 구분 능력과 도메인 불변성을 향상시키기 위해 단일 단계, 엔드 투 엔드 대비 학습 프레임워크를 개발한다.
• 다양한 데이터 및 증강 설정 하에서 대비 학습 구성 요소—클래스 수준 및 인스턴스 수준 정렬—의 효과성을 조사한다.
• 낮은 샘플 수의 타겟 레이블링 환경에서 노이즈가 있는 레이블에 대한 강건성과 하이퍼파라미터 민감도를 입증한다.

제안 방법

• 동일한 클래스의 소스 및 타겟 도메인 중심점 간 유사도를 최적화하고, 이질적 클래스 중심점 간의 거리를 최대화함으로써 이중도메 대비 정렬을 적용한다.
• 비라벨링된 타겟 이미지의 원본 및 강화된 뷰 간의 특징 일관성을 유도함으로써 인스턴스 수준의 대비 정렬을 구현한다.
• 대비 학습을 위한 타겟 특징 생성을 위해 모멘터럼 업데이트된 인코더를 사용하여 학습 안정성과 표현 품질을 향상시킨다.
• 모델 예측을 사용하여 비라벨링된 타겟 샘플에 대해 의사 레이블을 생성하고, 이를 주기적으로 업데이트함으로써 클래스별 대비 학습을 가능하게 한다.
• 학습 가능한 가중치 하이퍼파라미터(α 및 β)를 사용하여 두 개의 대비 목표를 통합된 학습 목표로 통합한다.
• 특징의 강건성을 향상시키기 위해 강화 증강 정책으로 RandAugment에 회색조 증강을 적용한다.

실험 결과

연구 질문

• RQ1 준감독 도메인 적응(SSDA) 환경에서 대비 학습이 이중도메 및 내도메인 차이를 효과적으로 감소시킬 수 있는가?
• RQ2 클래스 수준의 대비 정렬과 인스턴스 수준의 대비 정렬을 통합함으로써 낮은 샘플 수의 타겟 레이블링 환경에서 모델의 일반화 능력이 어떻게 향상되는가?
• RQ3 다양한 증강 정책이 SSDA 환경에서 인스턴스 수준의 대비 정렬 성능에 어떤 영향을 미치는가?
• RQ4 제한된 타겟 도메인 애너테이션에서 노이즈가 있는 레이블에 대해 제안된 프레임워크는 얼마나 강건한가?
• RQ5 CLDA에서 두 대비 목표를 균형 잡기 위한 최적의 하이퍼파라미터 설정(예: α, β, μ)은 무엇인가?

주요 결과

• CLDA는 DomainNet, Office-Home 및 Office31 세 가지 벤치마크 데이터셋에서 모두 최신 기술 수준 성능을 달성하며, 기존의 SSDA 방법들을 능가한다.
• 3-shot Office-Home Rl→Pr 작업에서 CLDA는 테스트 정확도 72.4%를 달성했으며, 단순한 수평 반전 대비로 RandAugment에 회색조 증강을 적용할 경우 성능이 4% 향상되었다.
• 제거 실험 결과, 인스턴스 수준의 대비 정렬을 제거하면 정확도가 72.4%에서 70.7%로 감소하여 이 구성 요소의 성능에 핵심적인 기여를 한다는 점을 확인했다.
• 모델 예측 대신 K-means를 사용하여 의사 레이블을 생성할 경우 정확도가 72.4%에서 71.2%로 감소하여 모델 기반 의사 레이블링의 우수성을 입증했다.
• 노이즈가 있는 레이블에 대해서도 강건성을 유지하며, Pr→Ar 1-shot 작업에서 타겟 레이블의 25%가 잘못 레이블링되어도 정확도가 0.5% 뿐 감소했다.
• 하이퍼파라미터 분석 결과, α = 4 및 μ = 4일 때 최적의 성능을 달성했으며, 이 값들에서 벗어나면 성능이 저하됨을 확인했다.