[논문 리뷰] Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty

Jaehoon Oh, Sungnyun Kim외 4명|arXiv (Cornell University)|2022. 02. 01.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 도메인 유사도와 소수 샘플 난이도를 분석함으로써 교차도메인 소수 샘플 학습(CD-FSL)에서 사전학습 전략을 조사한다. 결과적으로, 도메인이 유사하지 않거나 타겟 작업이 쉬울 경우 자기지도학습(SSL)이 지도학습(SL)을 능가하는 것으로 드러났고, 반대로 도메인이 유사하고 작업이 어려운 경우 SL가 우세하다. 저자들은 이러한 두 지표를 바탕으로 SL와 SSL의 상호보완적 강점을 활용하는 혼합지도학습(MSL)과 이중단계 사전학습을 제안하며, 11개의 벤치마크 데이터셋에서 검증된 성능 향상을 이룬다.

ABSTRACT

Cross-domain few-shot learning (CD-FSL) has drawn increasing attention for handling large differences between the source and target domains--an important concern in real-world scenarios. To overcome these large differences, recent works have considered exploiting small-scale unlabeled data from the target domain during the pre-training stage. This data enables self-supervised pre-training on the target domain, in addition to supervised pre-training on the source domain. In this paper, we empirically investigate which pre-training is preferred based on domain similarity and few-shot difficulty of the target domain. We discover that the performance gain of self-supervised pre-training over supervised pre-training becomes large when the target domain is dissimilar to the source domain, or the target domain itself has low few-shot difficulty. We further design two pre-training schemes, mixed-supervised and two-stage learning, that improve performance. In this light, we present six findings for CD-FSL, which are supported by extensive experiments and analyses on three source and eight target benchmark datasets with varying levels of domain similarity and few-shot difficulty. Our code is available at https://github.com/sungnyun/understanding-cdfsl.

연구 동기 및 목표

• 교차도메인 소수 샘플 학습(CD-FSL)에서 자기지도학습(SSL)이 지도학습(SL)을 언제 초월하는지 이해하기.
• SL과 SSL 사전학습 전략의 효과성을 결정짓는 핵심 요인인 도메인 유사도와 소수 샘플 난이도를 규명하기.
• 이러한 요인을 기반으로 SL와 SSL을 융합하는 개선된 사전학습 체계를 설계하여 CD-FSL 성능 향상시키기.
• 제안된 통찰과 방법이 도메인 유사도와 소수 샘플 난이도 수준이 다양한 다양한 벤치마크 데이터셋에서 검증되도록 하기.

제안 방법

• 저자들은 도메인 유사도(원천 도메인과 타겟 도메인 간의 특징 분포 이탈 정도를 측정)와 소수 샘플 난이도(소수 샘플 성능의 상한 추정치로, 작업의 본질적 어려움을 나타냄)라는 두 가지 핵심 지표를 도입한다.
• 원천 도메인에서의 지도학습과 타겟 도메인에서의 자기지도학습을 포함한 표준 사전학습 전략을 도메인 유사도와 소수 샘플 난이도가 다양하게 설정된 11개 데이터셋에서 평가한다.
• SL과 SSL 신호를 동시에 최적화하는 혼합지도학습(MSL)을 제안하며, 이는 두 방법의 상호보완적 강점을 활용한다.
• 강력한 초기 가중치를 얻기 위해 먼저 SL로 사전학습하고, 이후 SSL로 미세조정하는 이중단계 사전학습 방법을 설계한다.
• 백본으로 ResNet-18을 사용하고, miniImageNet, tieredImageNet, EuroSAT, CUB 등 표준 소수 샘플 벤치마크에서 평가한다.
• 표현의 군집화 행동을 검증하기 위해 광범위한 추론 분석과 t-SNE 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 CD-FSL에서 타겟 도메인에서의 자기지도학습 사전학습이 원천 도메인에서의 지도학습 사전학습을 언제 초월하는가?
• RQ2 원천 도메인과 타겟 도메인 간의 도메인 유사도가 SL과 SSL 사전학습의 효과성에 어떻게 영향을 미치는가?
• RQ3 타겟 데이터셋의 본질적 소수 샘플 난이도가 SL과 SSL의 상대적 성능에 어떻게 영향을 미치는가?
• RQ4 SL과 SSL을 효과적으로 융합하여 CD-FSL 성능을 향상시킬 수 있으며, 만약 가능하면 어떤 조건에서 이루어지는가?
• RQ5 이중단계 사전학습 파이프라인(SL → SSL)이 단일단계 사전학습보다 더 높은 성능을 내는가?

주요 결과

• 타겟 도메인이 원천 도메인과 유사하지 않거나, 타겟 데이터셋의 소수 샘플 난이도가 낮을 경우 자기지도학습(SSL) 사전학습이 지도학습(SL) 사전학습보다 유의미하게 뛰어나다.
• 원천 도메인과 타겟 도메인이 유사하고 소수 샘플 작업이 어려운 경우 지도학습(SL)이 자기지도학습(SSL)보다 더 효과적이며, 이는 SL이 더 강력한 인도적 편향을 제공하기 때문이다.
• SL과 SSL 목표를 함께 최적화하는 혼합지도학습(MSL)은 두 방법의 성능이 유사할 경우 성능 향상을 이끌어내며, 이는 상호보완적 효과를 의미한다.
• 이중단계 사전학습 방식—먼저 SL로 사전학습하고, 이후 SSL로 미세조정—은 SL의 강력한 초기화를 활용함으로써 일관되게 성능 향상을 이룬다.
• 동일 도메인 소수 샘플 학습(same-domain FSL, 예: miniImageNet → miniImageNet-test)에서는 SL과 MSL이 SSL을 능가하며, MSL는 최고의 정확도(5샷 시 87.38%)를 기록하여 도메인 유사도와 난이도의 역할을 확인한다.
• t-SNE 시각화 결과, 도메인이 유사하지 않거나 난이도가 낮은 데이터셋(예: EuroSAT)에서는 SSL이 더 잘 분리된 특징을 생성하는 반면, 도메인이 유사하거나 난이도가 높은 데이터셋(예: CUB)에서는 SL가 더 우수한 군집화를 이룬다.