[논문 리뷰] Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?

Yonglong Tian, Yue Wang외 3명|arXiv (Cornell University)|2020. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 88

한 줄 요약

간단한 베이스라인으로 합쳐진 메타-트레이닝 데이터에서 강력한 임베딩을 사전 학습하고 이를 고정한 뒤 각 태스크에 대해 선형 분류기를 학습시키면 많은 메타러닝 방법보다 성능이 더 잘 나올 수 있습니다; 자기 증류(Self-distillation)가 성능을 더 향상시키고, 자체 지도 임베딩(Self-supervised embeddings)이 감독 학습 임베딩과 경쟁력 있게 성능을 발휘합니다.

ABSTRACT

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or self-supervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of self-distillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms. Code is available at: http://github.com/WangYueFt/rfs/.

연구 동기 및 목표

• few-shot 이미지 분류 벤치마크와 메타러닝 알고리즘의 역할을 재고하도록 동기를 부여한다.
• 학습된 임베딩이 정교한 메타러닝 방법보다 우수할 수 있는지 조사한다.
• 간단한 베이스라인 제안: merged 메타-트레이닝 데이터에서 임베딩을 사전 학습하고 그 위에 선형 분류기를 학습한다.
• 자기 증류가 성능을 더 향상시킨다는 점을 보여준다.
• 자체 지도 임베딩이 few-shot 태스크에서 감독 학습 임베딩과 일치할 수 있음을 보여준다.

제안 방법

• 모든 메타-트레이닝 태스크를 하나의 큰 분류 태스크로 합쳐 merged 데이터에 대해 cross-entropy 손실로 임베딩 f_phi를 학습한다.
• 임베딩을 고정하고 메타 테스트 동안 고정된 임베딩 위에 선형 기본 학습기(예: logistic regression)를 학습한다.
• 선택적으로 self-distillation(Born-again strategy)을 적용하여 다중 세대의 임베딩을 생성하고 세대 간 지식을 증류한다.
• 고정된 임베딩 위에 로지스틱 회귀, 최근접 이웃, 코사인 기반 분류기 등의 기본 학습기를 평가한다.
• 다운스트림의 few-shot 태스크를 위해 감독학습(pre-trained supervised) 임베딩과 자체 지도(self-supervised) 임베딩을 비교한다.

실험 결과

연구 질문

• RQ1 고정된 잘 학습된 임베딩이 few-shot 분류에서 state-of-the-art 메타러닝 알고리즘을 능가할 수 있는가?
• RQ2 메타 테스트 데이터에서 미세 조정 없이 merged 메타-트레이닝 세트에서의 사전 학습만으로 충분한가?
• RQ3 순차적 자기 증류가 데이터셋과 백본에 걸쳐 일관되게 few-shot 성능을 향상시키는가?

주요 결과

• 단순한 베이스라인이 고정 임베딩으로 이전의 메타러닝 방법을 종종 큰 차이로 능가한다.
• Self-distillation은 여러 벤치마크에서 간단한 베이스라인에 대해 추가로 평균 2–3%의 향상을 제공한다.
• 최신 자체 지도 학습 방법으로 학습된 임베딩은 few-shot 태스크에서 감독 임베딩과 유사한 성능을 낼 수 있다.
• Meta-Dataset에서 이 방법은 평균적으로 이전 최고 성능보다 7% 이상 우수하다.
• 작은(ConvNet) 및 큰(ResNet) 백본 모두 임베딩으로부터 이익을 얻으며, 더 나은 임베딩이 성능의 핵심이다.