[논문 리뷰] ECACL: A Holistic Framework for Semi-Supervised Domain Adaptation

Kai Li, Chang Liu외 3명|arXiv (Cornell University)|2021. 04. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 다수의 상호보완적인 도메인 정렬 기법—클래스 수준 정렬을 위한 프로토타입 및 트리플릿 손실, RandAugment 기반 데이터 증강, 이중 증강을 통한 일致성 학습—을 통합하는 통합형 준지도 학습 도메인 적응 프레임워크인 ECACL을 제안한다. 이로 인해 최신 기준 성능을 달성하였으며, VisDA2017(1-shot)에서 81.1%의 평균 정확도와 DomainNet(1-shot)에서 53.4%의 평균 정확도를 기록하여 이전 방법들보다 크게 향상되었다.

ABSTRACT

This paper studies Semi-Supervised Domain Adaptation (SSDA), a practical yet under-investigated research topic that aims to learn a model of good performance using unlabeled samples and a few labeled samples in the target domain, with the help of labeled samples from a source domain. Several SSDA methods have been proposed recently, which however fail to fully exploit the value of the few labeled target samples. In this paper, we propose Enhanced Categorical Alignment and Consistency Learning (ECACL), a holistic SSDA framework that incorporates multiple mutually complementary domain alignment techniques. ECACL includes two categorical domain alignment techniques that achieve class-level alignment, a strong data augmentation based technique that enhances the model's generalizability and a consistency learning based technique that forces the model to be robust with image perturbations. These techniques are applied on one or multiple of the three inputs (labeled source, unlabeled target, and labeled target) and align the domains from different perspectives. ECACL unifies them together and achieves fairly comprehensive domain alignments that are much better than the existing methods: For example, ECACL raises the state-of-the-art accuracy from 68.4 to 81.1 on VisDA2017 and from 45.5 to 53.4 on DomainNet for the 1-shot setting. Our code is available at \url{https://github.com/kailigo/pacl}.

연구 동기 및 목표

• 소스 데이터의 레이블이 있고 타겟 데이터의 레이블이 거의 없는 상황에서, 즉 소수의 레이블이 있는 타겟 샘플(지표점)만 제공되는 준지도 학습 도메인 적응(SSDA) 문제를 해결하기 위해.
• 기존 SSDA 방법들이 이 희소한 레이블이 있는 타겟 샘플의 정보적 잠재력을 충분히 활용하지 못하고 손실 함수에서 그 기여도가 희석되는 한계를 극복하기 위해.
• 다양한 도메인 정렬 기법들을 통합하여 소스 및 타겟 도메인 간에 종합적이고 다각도의 정렬을 달성하는 통합 프레임워크를 설계하기 위해.
• 비레이블 타겟 샘플에 대해 강력한 데이터 증강(RandAugment)과 일치 학습을 결합하여 모델의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• ECACL은 레이블이 있는 타겟 지표점에서 계산된 클래스별 타겟 프로토타입과 소스 특징을 정렬하기 위해 프로토타입 손실을 사용하여 클래스 수준의 도메인 정렬을 구현한다.
• 삼중체 손실을 적용하여 같은 클래스의 지표점에 가까이, 다른 클래스의 지표점에서 멀리 떨어지도록 소스 특징을 정렬함으로써 분류 가능성을 높이는 특징 학습을 강화한다.
• 레이블이 있는 소스 샘플과 타겟 지표점 모두에 대해 RandAugment를 적용하여 고도로 왜곡된 증강 이미지를 생성함으로써 분류 정렬의 난이도를 높이고 강건성을 향상시킨다.
• 가볍게 증강된 비레이블 타겟 이미지로부터 가짜 레이블을 생성하고, 이를 강하게 증강된 대응 이미지의 타겟으로 사용함으로써 일치 학습을 강화함으로써 입력의 변형에 대한 강건성을 향상시킨다.
• 이러한 기법들을 소스-레이블, 타겟-레이블, 비레이블 타겟 샘플 등 다양한 입력에 걸쳐 통합함으로써 다양한 시각에서 종합적인 도메인 정렬을 가능하게 한다.
• ECACL은 다양한 기존의 무 supervision 도메인 적응(UDA) 방법들인 MME, HAFN, SAFN과 호환되는 플러그인 모듈로 설계되어 아키텍처 변경 없이도 성능 향상을 이끌 수 있다.

Figure 1: Illustration of the proposed ECACL framework. ECACL includes three modules: (1) The unsupervised domain alignment module that performs domain alignment using labeled source and unlabeled target samples. (2) The enhanced categorical alignment module that conducts class-level alignment by ex

실험 결과

연구 질문

• RQ1 소수의 레이블이 있는 타겟 샘플에서 다수의 상호보완적인 도메인 정렬 기법을 통합할 경우 준지도 학습 도메인 적응에서 성능 향상이 크게 이루어질 수 있는가?
• RQ2 강력한 데이터 증강과 일치 학습과 결합했을 때, 타겟 지표점을 활용한 클래스 수준 정렬이 도메인 이동을 줄이는 데 얼마나 효과적인가?
• RQ3 기존의 표준 증강 전략에 비해, RandAugment 기반 증강은 레이블이 적은 타겟 환경에서 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 가벼운 증강과 강한 증강을 동시에 사용하는 이중 증강 기반의 일치 학습은 모델의 강건성을 향상시키고 SSDA 환경에서 레이블 전파를 어떻게 지원하는가?
• RQ5 ECACL은 기존의 UDA 방법들과 유연하게 통합되어 다양한 벤치마크와 백본 아키텍처에서 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• ECACL은 1-shot 설정에서 VisDA2017 데이터셋에서 기존 SOTA인 68.4%에서 개선된 새로운 SOTA 수준인 81.1%의 평균 정확도를 달성하였다.
• DomainNet 벤치마크에서는 1-shot 설정에서 이전 SOTA인 45.5%에서 개선된 53.4%의 평균 정확도를 기록하였다.
• 3-shot 설정에서는 VisDA2017에서 85.3%, DomainNet에서는 83.3%의 평균 정확도를 기록하여 다양한 샘플 수 설정에서도 강력한 일반화 능력을 입증하였다.
• 절단 실험을 통해 프로토타입 손실, 삼중체 손실, RandAugment, 일치 학습 각각의 구성 요소가 성능 향상에 의미 있는 기여를 한다는 것이 확인되었으며, 전체 ECACL 프레임워크가 최고의 성능을 내었다.
• 이 프레임워크는 매우 유연하며, MME, HAFN, SAFN 등 다양한 UDA 기반 모델에 플러그인 모듈로 통합했을 때도 성능 향상이 일관되게 관찰되었다.
• 결과적으로, 조그만 양의 타겟 레이블(지표점)이라도 다각도의 정렬 전략과 강건한 훈련 기법을 결합하면 최대한으로 활용될 수 있음을 보여주었다.

Figure 2: (a): Accuracy with different numbers of labeled samples per class in target domain. (b): Sensitivity analysis with respect to the confident threshold $\sigma$ (Eq. ( 11 )). (c): t-SNE visualization of the learned features of 3 randomly selected classes. Different colors represent different