[논문 리뷰] Cross-domain few-shot learning with unlabelled data

Fupin Yao|arXiv (Cornell University)|2021. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 도메인 갭을 줄이기 위해 레이블이 없는 타겟 도메인 데이터를 통합한 새로운 교차 도메인 few-shot 학습 설정을 제안하며, 기존의 베이스라인보다 뛰어난 성능을 보이는 자기지도 학습 방법을 도입한다. 이 방법은 DomainNet에서 최신 기술 수준의 정확도를 달성했으며, 여러 타겟 도메인에서 평균 71.08%의 few-shot 정확도를 기록했다.

ABSTRACT

Few shot learning aims to solve the data scarcity problem. If there is a domain shift between the test set and the training set, their performance will decrease a lot. This setting is called Cross-domain few-shot learning. However, this is very challenging because the target domain is unseen during training. Thus we propose a new setting some unlabelled data from the target domain is provided, which can bridge the gap between the source domain and the target domain. A benchmark for this setting is constructed using DomainNet \cite{peng2018oment}. We come up with a self-supervised learning method to fully utilize the knowledge in the labeled training set and the unlabelled set. Extensive experiments show that our methods outperforms several baseline methods by a large margin. We also carefully design an episodic training pipeline which yields a significant performance boost.

연구 동기 및 목표

• 테스트 데이터가 미리 보지 않은 도메인에서 온 도메인 스트레스 문제를 해결한다.
• 학습 중 타겟 도메인의 레이블이 없는 데이터를 포함시켜 더 현실적이고 실현 가능한 설정을 제안한다.
• 이 새로운 설정 하에서 방법 간 공정한 비교를 가능하게 하기 위해 DomainNet에 벤치마크를 구축한다.
• 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 효과적으로 활용하는 자기지도 학습 기반 방법을 개발한다.
• 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 모두 사용한 에피소드 기반 학습이 미리 보지 않은 도메인으로의 일반화 능력을 크게 향상시킨다.

제안 방법

• 두 단계 학습 파이프라인을 도입: 첫 번째로, 레이블이 없는 타겟 도메인 데이터를 사용해 대비 자기지도 학습 기반 특징 추출기를 사전 학습한다.
• 레이블이 있는 소스 도메인 데이터를 사용해 에피소드 기반 학습을 통해 모델을 미세 조정하며, few-shot 학습 에피소드(예: 5-way 1-shot 및 5-shot 작업)를 시뮬레이션한다.
• 에피소드 기반 학습 중에는 평균 중심 분류기를 사용해 few-shot 일반화 성능을 평가한다.
• 레이블이 없는 타겟 데이터를 활용해 도메인 불변성과 일반화 능력을 갖춘 특징을 학습시켜 소스와 타겟 간 도메인 스트레스를 줄인다.
• 자기지도 학습 사전 학습과 메타학습 기반 미세 조정을 번갈아 수행하는 강력한 학습 루프를 설계한다.
• 레이블이 없는 데이터셋 크기를 늘려 성능에 미치는 영향을 분석하며, 더 큰 레이블이 없는 데이터셋을 사용할수록 일반화 능력이 향상됨을 보였다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 도메인 데이터가 교차 도메인 설정에서 few-shot 일반화 능력을 크게 향상시킬 수 있는가?
• RQ2 표준 few-shot 학습과 비교했을 때, 레이블이 없는 타겟 도메인 데이터를 사용한 자기지도 사전 학습이 도메인 갭을 얼마나 줄이는가?
• RQ3 레이블이 없는 데이터 크기가 교차 도메인 few-shot 학습에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 모두 사용한 에피소드 기반 학습이 기존의 베이스라인보다 더 나은 일반화 능력을 보이는가?
• RQ5 자기지도 학습과 메타학습을 통합한 통합 프레임워크가 교차 도메인 few-shot 적응에 효과적으로 작용할 수 있는가?

주요 결과

• 제안된 방법은 DomainNet에서 모든 타겟 도메인 평균 정확도 71.08%를 달성했으며, 최고의 베이스라인(Baseline1)보다 7.69%포인트 높은 성능을 기록했다.
• 스케치 도메인에서는 71.51%의 정확도를 기록했으며, 베이스라인의 58.76%보다 뚜렷이 높았다.
• 제거 분석 결과, 레이블이 없는 데이터셋 크기를 늘릴수록 베이스라인 성능이 향상되지만, 제안된 방법은 여전히 큰 격차로 앞서나갔다.
• 에피소드 기반 학습 파이프라인은 성능 향상에 상당한 기여를 하였으며, 이는 few-shot 일반화 능력 향상에 효과적임을 입증했다.
• 레이블이 없는 타겟 도메인 데이터를 사용한 자기지도 사전 학습은 도메인 스트레스를 효과적으로 줄이고 특징의 일반화 능력을 향상시켰다.
• DomainNet에 구축한 벤치마크는 향후 레이블이 없는 데이터를 활용한 교차 도메인 few-shot 학습 연구를 위한 신뢰할 수 있고 현실적인 평가 플랫폼을 제공한다.