[논문 리뷰] Domain-Irrelevant Representation Learning for Unsupervised Domain Generalization.

Xingxuan Zhang, Linjun Zhou외 4명|arXiv (Cornell University)|2021. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터로부터 도메인에 무관한 표현을 학습하여 분포 이동에 대한 모델 일반화를 향상시키는 비지도 도메인 일반화(DIUL) 방법을 제안한다. DIUL은 훨씬 적은 비라벨 데이터로도 ImageNet 미사전학습을 능가하며, 특히 레이블 데이터가 부족하거나 풍부한 경우 강력한 내성과 일반화 능력을 보여준다.

ABSTRACT

Domain generalization (DG) aims to help models trained on a set of source domains generalize better on unseen target domains. The performances of current DG methods largely rely on sufficient labeled data, which however are usually costly or unavailable. While unlabeled data are far more accessible, we seek to explore how unsupervised learning can help deep models generalizes across domains. Specifically, we study a novel generalization problem called unsupervised domain generalization, which aims to learn generalizable models with unlabeled data. Furthermore, we propose a Domain-Irrelevant Unsupervised Learning (DIUL) method to cope with the significant and misleading heterogeneity within unlabeled data and severe distribution shifts between source and target data. Surprisingly we observe that DIUL can not only counterbalance the scarcity of labeled data but also further strengthen the generalization ability of models when the labeled data are sufficient. As a pretraining approach, DIUL shows superior to ImageNet pretraining protocol even when the available data are unlabeled and of a greatly smaller amount compared to ImageNet. Extensive experiments clearly demonstrate the effectiveness of our method compared with state-of-the-art unsupervised learning counterparts.

연구 동기 및 목표

• 레이블 데이터가 없거나 부족한 상황에서 도메인 일반화 문제를 해결하는 것, 특히 레이블 데이터가 부족하거나 이용 불가능한 경우에 초점을 맞춘다.
• 비지도 환경에서 소스 도메인과 타겟 도메인 간의 도메인 특화 이질성과 심각한 분포 이동의 영향을 완화하는 것.
• 표준 ImageNet 미사전학습을 뛰어넘는 일반화 성능을 향상시키는 사전학습 방법을 개발하는 것, 특히 훨씬 작은 비라벨 데이터셋을 사용하는 경우에도 적용 가능하도록 한다.
• 비지도 표현 학습이 낮은 데이터 환경뿐만 아니라 레이블 데이터가 풍부한 경우에도 일반화 성능을 강화할 수 있는지 탐구하는 것.

제안 방법

• DIUL은 동일한 이미지의 증강 샘플 간의 불변성을 유도하는 대비 학습 목표를 통해 도메인 특화 특징을 최소화함으로써 도메인에 무관한 표현을 학습한다.
• 공유 인코더와 도메인 특화 예측기로 구성된 이중 브랜치 신경망을 활용하여 도메인 특화 특징와 일반화 가능한 특징를 분리한다.
• 도메인 간에 음성 샘플을 분리하고 동일 이미지의 증강 샘플(양성 샘플)은 가까이 오게 하는 도메인 불변 대비 손실을 사용한다.
• 프레임워크는 사전학습 중에 레이블에 의존하지 않고 오직 비라벨 데이터만으로 종단 간(end-to-end)으로 훈련된다.
• 사전학습 후, 모델은 최소한의 레이블 데이터를 사용하여 다운스트림 작업에 맞춤 조정(fine-tuning)되며, 학습된 도메인 강인 특징를 활용한다.

실험 결과

연구 질문

• RQ1 레이블 데이터가 이용 불가능한 상황에서 비지도 표현 학습이 도메인 일반화 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 DIUL은 비라벨 데이터 내에서 도메인 특화 노이즈와 분포 이동의 부정적 영향을 어떻게 완화하는가?
• RQ3 비라벨 데이터가 ImageNet보다 훨씬 적은 규모일 때도 DIUL이 표준 ImageNet 미사전학습을 능가하는가?
• RQ4 DIUL은 낮은 데이터 환경뿐만 아니라 레이블 데이터가 풍부한 경우에도 일반화 성능을 향상시킬 수 있는가?

주요 결과

• DIUL은 여러 도메인 일반화 벤치마크에서 최신 비지도 학습 방법들보다 뛰어난 일반화 성능을 달성한다.
• 사용 가능한 비라벨 데이터가 ImageNet보다 훨씬 작을 때도 DIUL은 ImageNet 미사전학습을 능가한다.
• 모델의 분포 이동에 대한 저항성이 향상되어, 특히 레이블 데이터가 부족하거나 없을 경우에 뚜렷하게 개선된다.
• 놀랍게도, 레이블 데이터가 풍부한 경우에도 DIUL은 모델의 일반화 성능을 추가로 향상시켜, 데이터 부족 환경을 뛰어넘는 효과성을 보여준다.