[논문 리뷰] Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning

Yinbo Chen, Zhuang Liu외 3명|arXiv (Cornell University)|2020. 03. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 28

한 줄 요약

이 논문은 소수의 샘플로 학습하는 데 효과적인 간단한 방법인 Meta-Baseline를 소개한다. 이 방법은 평가 지표(코사인 거리 기반 최근접 중심점)를 사용해 전체 분류 사전학습 모델을 메타학습으로 미세조정한다. 간단한 구조임에도 불구하고 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 메타학습이 표준 분류보다 우월하다는 가정에 도전하는 기반 클래스와 새로운 클래스에 대한 일반화 간의 트레이드오프를 드러낸다.

ABSTRACT

Meta-learning has been the most common framework for few-shot learning in recent years. It learns the model from collections of few-shot classification tasks, which is believed to have a key advantage of making the training objective consistent with the testing objective. However, some recent works report that by training for whole-classification, i.e. classification on the whole label-set, it can get comparable or even better embedding than many meta-learning algorithms. The edge between these two lines of works has yet been underexplored, and the effectiveness of meta-learning in few-shot learning remains unclear. In this paper, we explore a simple process: meta-learning over a whole-classification pre-trained model on its evaluation metric. We observe this simple method achieves competitive performance to state-of-the-art methods on standard benchmarks. Our further analysis shed some light on understanding the trade-offs between the meta-learning objective and the whole-classification objective in few-shot learning.

연구 동기 및 목표

• 메타학습이 소수의 샘플로 학습하는 환경에서 강력한 전체 분류 학습 방식과 비교해 여전히 효과적인가를 조사하는 것.
• 특히 기반 클래스와 새로운 클래스에 대한 일반화 성능 간의 괴리 원인을 이해하는 것, 메타학습과 전체 분류 목표 간의 차이를 분석하는 것.
• 메타학습이 강력한 전체 분류 기반 모델을 향상시킬 수 있는지, 그리고 어떤 조건에서 가능한지를 평가하는 것.
• 클래스 이행 가능성과 데이터셋 유사도가 메타학습과 표준 분류 간의 성능에 미치는 영향을 분석하는 것.

제안 방법

• 표준 교차 엔트로피 손실을 사용해 모든 기반 클래스에 대해 분류기를 훈련한 후, 최종 완전 연결 계층을 제거하여 특징 인코더를 얻는다.
• 얻어진 인코더를 특징 추출기로 사용하고, 추론 시 지원 샘플의 평균 풀링을 통해 클래스 중심점(centroid)을 계산한다.
• N-웨이 K-샷 태스크에서 소수의 샘플로 분류 성능을 최적화하기 위해 코사인 거리 기반 최근접 중심점 지표를 사용해 인코더를 메타학습으로 미세조정한다.
• 일반화를 두 가지 설정으로 분리한다: 기반 클래스 일반화(미리 보지 않은 기반 클래스 태스크에서의 일반화)와 새로운 클래스 일반화(새로운 클래스 태스크에서의 일반화).
• Meta-Dataset에서 다중 데이터셋 훈련 설정을 사용하여, 분류기는 50% ILSVRC-2012와 나머지 50% 다른 데이터셋에서 훈련하여 실제 세계의 분포 이탈을 시뮬레이션한다.
• 다양한 웨이 수와 샷 수를 가진 표준 소수의 샘플 벤치마크를 사용해 성능을 평가하며, Meta-Baseline를 Classifier-Baseline 및 최신 기술 수준(SOTA) 방법과 비교한다.

실험 결과

연구 질문

• RQ1 강력한 전체 분류 사전학습 모델에 메타학습을 적용할 때, 성능 향상이 여전히 이루어지는가?
• RQ2 메타학습 프레임워크에서 기반 클래스 일반화와 새로운 클래스 일반화 간에 트레이드오프가 존재하는가?
• RQ3 왜 일부 전체 분류 모델이 복잡한 메타학습 알고리즘보다 소수의 샘플로 학습에서 더 뛰어난 성능을 내는가?
• RQ4 데이터셋의 관련성과 유사도가 메타학습과 전체 분류 간 상대적 성능에 어떤 영향을 미치는가?
• RQ5 사전 학습된 분류기 위에서 단순한 메타학습 미세조정 단계만으로도 아키텍처의 복잡성 없이 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• Meta-Baseline는 mini-ImageNet 및 Meta-Dataset와 같은 표준 소수의 샘플 벤치마크에서 최신 기술 수준(SOTA) 성능을 확보한다.
• Meta-Dataset의 대부분의 데이터셋에서 Classifier-Baseline 기반 모델보다 Meta-Baseline가 성능을 뛰어넘으며, 특히 ILSVRC-2012와 관련성이 낮은 데이터셋에서 두드러진다.
• 메타학습은 기반 클래스 일반화 성능 향상을 위해 새로운 클래스 일반화 성능을 저하시키며, 이는 두 목표 간의 트레이드오프를 시사한다.
• Meta-Baseline를 완전히 새로 훈련할 경우 기반 클래스 일반화 성능은 높아지지만, 새로운 클래스 일반화 성능은 크게 떨어지며, 이는 사전학습이 이행 가능성에 매우 중요하다는 것을 시사한다.
• Meta-Baseline의 주요 이점은 전체 분류 사전학습 단계에서 유래한 강력한 클래스 이행 가능성(transferability)을 그대로 물려받기 때문이다.
• 메타학습의 성능 향상은 기반 훈련 분포와 유사도가 낮은 데이터셋에서 가장 두드러지며, 이는 메타학습이 분포 이탈 문제를 해결하는 데 도움을 준다는 것을 시사한다.