[논문 리뷰] Self-Supervised Learning For Few-Shot Image Classification

Da Chen, Yuefeng Chen외 4명|arXiv (Cornell University)|2019. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 26

한 줄 요약

이 논문은 소수의 샘플만을 가진 이미지 분류 문제를 해결하기 위해 자기지도학습(SSL) 사전 훈련 전략을 제안한다. 대규모 임bedding 네트워크를 사용해 레이블이 없는 데이터로부터 강건하고 이식 가능한 표현을 사전 훈련한 후, 메타학습을 통해 미세조정한다. 이 방법은 MiniImageNet과 CUB에서 최신 기준 성능을 달성하며, CUB에서 1-shot 정확도를 약 9% 향상시키고, 도메인 간 벤치마크에서 15% 향상시킨다. 이는 SSL 사전 훈련 단계에서 대규모 레이블이 없는 데이터를 활용한 결과이다.

ABSTRACT

Few-shot image classification aims to classify unseen classes with limited labelled samples. Recent works benefit from the meta-learning process with episodic tasks and can fast adapt to class from training to testing. Due to the limited number of samples for each task, the initial embedding network for meta-learning becomes an essential component and can largely affect the performance in practice. To this end, most of the existing methods highly rely on the efficient embedding network. Due to the limited labelled data, the scale of embedding network is constrained under a supervised learning(SL) manner which becomes a bottleneck of the few-shot learning methods. In this paper, we proposed to train a more generalized embedding network with self-supervised learning (SSL) which can provide robust representation for downstream tasks by learning from the data itself. We evaluate our work by extensive comparisons with previous baseline methods on two few-shot classification datasets ({\em i.e.,} MiniImageNet and CUB) and achieve better performance over baselines. Tests on four datasets in cross-domain few-shot learning classification show that the proposed method achieves state-of-the-art results and further prove the robustness of the proposed model. Our code is available at \hyperref[https://github.com/phecy/SSL-FEW-SHOT.]{https://github.com/phecy/SSL-FEW-SHOT.}

연구 동기 및 목표

• 깊은 임베딩 네트워크를 훈련할 때 소규모 지도 학습 데이터셋에서 과적합이 발생하는 문제로 인한 소수의 샘플 학습 성능 저하를 해결하기 위함.
• 지도 학습 사전 훈련 대신 자기지도학습(SSL)을 사용하여 임베딩 네트워크의 일반화 및 이식성을 향상시키기 위함.
• 대규모 SSL 사전 훈련이 도메인 내 및 도메인 간 소수의 샘플 학습 환경 모두에서 새로운 클래스에 대한 적응 능력을 향상시키는지 조사하기 위함.
• SSL 사전 훈련이 더 크고 표현력이 풍부한 네트워크를 소수의 샘플 학습에 효과적으로 활용할 수 있도록 해주며, 지도 학습 미세조정의 한계를 극복할 수 있음을 입증하기 위함.

제안 방법

• 동일한 이미지의 증강된 뷰들 간의 상호정보를 최대화하는 대비 사전 과제를 사용하여, 대규모 레이블이 없는 데이터에서 자기지도학습(SSL)을 통해 깊은 임베딩 네트워크를 사전 훈련한다.
• 임베딩 기반 네트워크로는 ResNet-12나 그 확장형과 같은 넓은 아키텍처를 사용하며, SSL 사전 훈련 덕분에 과적합을 방지할 수 있다.
• 에피소드 기반 메타학습을 통해 사전 훈련된 임베딩 네트워크를 미세조정하며, 각 에피소드는 지원 세트와 쿼리 세트를 포함하는 소수의 샘플 분류 과제를 시뮬레이션한다.
• 메타학습 동안 거리 기반 학습을 적용하여, 지원 세트의 임베딩에서 클래스 중심을 계산하고, 쿼리 샘플을 임베딩 공간에서 가장 가까운 이웃 예측을 통해 분류한다.
• 도메인 간 소수의 샘플 학습으로 이 프레임워크를 확장하기 위해, 하나의 도메인(예: MiniImageNet)에서 학습한 SSL 임베딩을 다른 도메인(예: ISIC, EuroSAT)으로 그대로 전이하며 추가적인 미세조정 없이도 성능을 유지한다.
• SSL 단계에서 사용하는 레이블이 없는 데이터의 양을 변화시켜 사전 훈련 데이터 규모의 영향을 평가하며, 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 자기지도학습 사전 훈련을 통해 과적합을 방지하면서 더 크고 강력한 임베딩 네트워크를 소수의 샘플 분류에 효과적으로 사용할 수 있는가?
• RQ2 소수의 샘플 학습에서 일반화 및 이식성 측면에서 지도 학습 사전 훈련과 비교해 자기지도학습 사전 훈련은 어떤가?
• RQ3 제안된 방법이 MiniImageNet과 CUB와 같은 표준 소수의 샘플 벤치마크에서 최신 기준 성능을 달성하는가?
• RQ4 SSL로 학습한 임베딩은 도메인 갭이 존재하는 도메인 간 소수의 샘플 학습 환경으로 효과적으로 전이될 수 있는가?

주요 결과

• 강력한 베이스라인 대비 MiniImageNet에서 1-shot 및 5-shot 정확도를 각각 약 3%와 4% 향상시키며, CUB에서는 각각 약 9%와 3% 향상시켰다.
• SSL 사전 훈련 단계에서 레이블이 없는 데이터의 양을 늘릴수록, MiniImageNet 설정에서 1-shot 과제에서 15% 향상되고 5-shot 과제에서 13% 향상되었다.
• 네 개의 데이터셋(ChestX, ISIC, EuroSAT, CropDiseases) 간 도메인 간 소수의 샘플 학습에서 평균 정확도 69.69%를 달성하여 이전 최신 기준인 68.14%를 초월했다.
• 더 큰 네트워크 용량을 가진 경우조차도 SSL 사전 훈련 모델이 지도 학습 사전 훈련보다 우수한 성능을 보이며, SSL이 과적합을 완화하고 더 나은 일반화를 가능하게 함을 확인했다.
• 사전 훈련된 SSL 네트워크를 그대로 사용해 가장 가까운 이웃 분류를 수행한 결과 성능이 열악했으며, 이는 최적의 소수의 샘플 성능을 위해 메타학습 미세조정이 필수적임을 보여준다.
• ImageNet 사전 훈련된 SSL 임베딩을 CUB에 전이한 결과, 1-shot 과제에서 15% 향상되고 5-shot 과제에서 8% 향상되었으며, 이는 강력한 이식성을 확인한다.