[논문 리뷰] Multi-level Consistency Learning for Semi-supervised Domain Adaptation

Zizheng Yan, Yushuang Wu외 4명|arXiv (Cornell University)|2022. 05. 09.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 다중 수준 일致성 학습(MCL)이라는 새로운 프레임워크를 제안한다. MCL은 세 가지 수준에서 일관성을 강제한다: 원형 기반 최적 운반을 통한 도메인 간 정렬, 유사도 기반 대비 클러스터링을 통한 도메인 내 클래스별 대비 클러스터링, 그리고 데이터 증강을 통한 샘플 수준 예측 일관성. MCL은 VisDA2017, DomainNet, Office-Home에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 1-샷 설정에서 정확도를 최대 3% 향상시켰다.

ABSTRACT

Semi-supervised domain adaptation (SSDA) aims to apply knowledge learned from a fully labeled source domain to a scarcely labeled target domain. In this paper, we propose a Multi-level Consistency Learning (MCL) framework for SSDA. Specifically, our MCL regularizes the consistency of different views of target domain samples at three levels: (i) at inter-domain level, we robustly and accurately align the source and target domains using a prototype-based optimal transport method that utilizes the pros and cons of different views of target samples; (ii) at intra-domain level, we facilitate the learning of both discriminative and compact target feature representations by proposing a novel class-wise contrastive clustering loss; (iii) at sample level, we follow standard practice and improve the prediction accuracy by conducting a consistency-based self-training. Empirically, we verified the effectiveness of our MCL framework on three popular SSDA benchmarks, i.e., VisDA2017, DomainNet, and Office-Home datasets, and the experimental results demonstrate that our MCL framework achieves the state-of-the-art performance.

연구 동기 및 목표

• 기존 준지도 학습 도메인 적응(SSDA) 방법이 샘플 수준을 초월한 일관성 정규화를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 다중 시각의 타겟 샘플을 활용하여 원형 기반 최적 운반과 다중 시각 타겟 샘플 일관성을 통합함으로써, 소스 도메인과 타겟 도메인 간의 강력한 도메인 정렬을 향상시키기 위해.
• 새로운 클래스별 대비 클러스터링 손실을 통해 예측 공간에서 같은 클래스 내 상관관계를 높이고 다른 클래스 간 상관관계를 낮춤으로써, 타겟 도메인의 특징 학습을 향상시키기 위해.
• 낮은 샘플 수의 타겟 레이블링 조건에서 일반화 성능을 향상시키기 위해, 도메인 간, 도메인 내, 샘플 수준의 일관성을 하나의 통합된 프레임워크로 통합하기 위해.

제안 방법

• 도메인 간 수준에서, MCL은 원형 기반 최적 운반 방법을 사용하여 타겟 샘플(다양한 시각에서)과 소스 원형 간 매핑을 계산함으로써 도메인 정렬의 일관성을 강제한다.
• 이 방법은 타겟 샘플의 두 개의 증강된 시각에 대한 예측 간 유사도를 계산하기 위해 새로운 클래스별 상관행렬을 도입하여, 밀도 높고 구분력 있는 특징 클러스터를 촉진한다.
• 도메인 내 수준에서, 같은 클래스 내의 상관관계를 증가시키고 다른 클래스 간의 상관관계를 감소시키기 위해 클래스별 대비 클러스터링 손실을 제안한다.
• 샘플 수준에서, 동일한 타겟 샘플의 약한 증강 및 강한 증강 시각 간 일관된 예측을 강제함으로써 표준 일관성 정규화를 적용한다.
• 이 프레임워크는 세 가지 손실 구성 요소를 결합한다: 도메인 간 정렬 손실, 도메인 내 대비 클러스터링 손실, 샘플 수준 예측 일관성 손실이며, 엔드 투 엔드로 훈련된다.
• 원형 기반 최적 운반 전략은 타겟 샘플의 보완적 시각을 활용하여 소스에서 타겟 도메인으로의 정렬을 정교화함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일관성 정규화는 샘플 수준을 초월하여 준지도 학습 도메인 적응에 효과적으로 확장될 수 있는가?
• RQ2 타겟 샘플의 다중 시각을 활용함으로써 도메인 간 정렬은 어떻게 더 강력하고 정확하게 개선될 수 있는가?
• RQ3 클래스별 대비 클러스터링은 샘플 수준 대비 기반 방법에 비해 더 밀도 있고 구분력 있는 타겟 특징 표현을 제공하는가?
• RQ4 다중 수준 일관성 학습은 VisDA2017, DomainNet, Office-Home와 같은 표준 SSDA 벤치마크에서 얼마나 성능을 향상시키는가?

주요 결과

• MCL은 1-샷 설정에서 VisDA2017에서 평균 클래스 정확도 86.3%를 달성하여 이전 최신 기술 수준 방법보다 3% 이상 뛰어났다.
• Office-Home 데이터셋에서 A→R 설정에서 3-샷 조건에서 MCL은 84.3%의 정확도를 기록하여 이전 방법보다 1.4% 포인트 높았다.
• 절단 실험 결과, 도메인 간, 도메인 내, 샘플 수준의 일관성 모두 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 달성함을 확인했다.
• 원형 기반 최적 운반 방법은 표준 샘플 수준 최적 운반보다 도메인 이동을 더 효과적으로 줄였으며, DomainNet에서 C→S에서는 정확도가 3.5% 향상되었고, P→R에서는 2.1% 향상되었다.
• 낮은 샘플 수 조건에서 클래스별 대비 클러스터링 손실이 샘플 수준 상관관계보다 우수한 성능을 보이며, 밀도 있고 구분력 있는 특징 학습의 효과성을 입증했다.
• MCL은 1-샷 및 3-샷 설정 모두에서 VisDA2017, DomainNet, Office-Home 세 벤치마크에서 일관된 성능 향상을 달성했다.