[논문 리뷰] Few-Shot Learning with a Strong Teacher

Han-Jia Ye, Lü Ming외 2명|arXiv (Cornell University)|2021. 07. 01.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 메타학습 중에 추가적인 감독을 제공하기 위해 풍부한 데이터로 훈련된 강력한 교사 분류기(teacher classifier)를 사용하는 플러그 앤 플레이 방법인 LastShot을 제안한다. 강력한 교사로부터 지식 distillation을 통해 소수의 예시 설정에서 일관된 성능 향상을 이룩하며, 메타학습 및 비메타학습 기반의 기준선을 초월하여 다수의 예시 설정에서도 뛰어난 성능을 보인다.

ABSTRACT

Few-shot learning (FSL) aims to generate a classifier using limited labeled examples. Many existing works take the meta-learning approach, constructing a few-shot learner that can learn from few-shot examples to generate a classifier. Typically, the few-shot learner is constructed or meta-trained by sampling multiple few-shot tasks in turn and optimizing the few-shot learner's performance in generating classifiers for those tasks. The performance is measured by how well the resulting classifiers classify the test (i.e., query) examples of those tasks. In this paper, we point out two potential weaknesses of this approach. First, the sampled query examples may not provide sufficient supervision for meta-training the few-shot learner. Second, the effectiveness of meta-learning diminishes sharply with the increasing number of shots. To resolve these issues, we propose a novel meta-training objective for the few-shot learner, which is to encourage the few-shot learner to generate classifiers that perform like strong classifiers. Concretely, we associate each sampled few-shot task with a strong classifier, which is trained with ample labeled examples. The strong classifiers can be seen as the target classifiers that we hope the few-shot learner to generate given few-shot examples, and we use the strong classifiers to supervise the few-shot learner. We present an efficient way to construct the strong classifier, making our proposed objective an easily plug-and-play term to existing meta-learning based FSL methods. We validate our approach, LastShot, in combinations with many representative meta-learning methods. On several benchmark datasets, our approach leads to a notable improvement across a variety of tasks. More importantly, with our approach, meta-learning based FSL methods can outperform non-meta-learning based methods at different numbers of shots.

연구 동기 및 목표

• 질의 세트(query set) 전용 감독의 비효율성을 해결하기 위해, 특히 질의 세트가 작을 경우에 특히 효과적일 수 있도록 한다.
• 예시 수가 증가함에 따라 메타학습의 효과가 감소하는 문제를 해결한다.
• 메타학습 중 강력한 분류기 감독을 도입하여 소수의 예시 학습자 일반화 성능을 향상시킨다.
• 기존 메타학습 프레임워크와 호환되는 실용적이고 플러그 앤 플레이 형식의 방법을 개발하여 다양한 예시 설정에서 성능을 향상시킨다.

제안 방법

• 기본 클래스에서 샘플링된 각 소수의 예시 작업에 대해, 동일한 기본 클래스의 모든 이용 가능한 레이블된 예시를 사용하여 강력한 분류기를 훈련한다.
• 메타학습 중에 질의 예시에 대한 소수의 예시 학습자의 예측을 강력한 분류기의 출력을 타겟으로 하여 감독한다.
• 강력한 분류기의 Softmax 정규화된 신뢰도 점수를 사용하여 가중치가 부여된 제곱 손실을 적용함으로써, 교사가 잘 수행하는 질의 예시에 우선순위를 두는 방식으로 설계한다.
• 기존 메타학습 방법에 아키텍처 변경 없이 LastShot 손실을 플러그인 형태로 통합한다.
• 기존의 기초 클래스 전체 데이터에 대한 표준 훈련을 통해 강력한 분류기를 효율적으로 구축함으로써 간편한 구현을 가능하게 한다.
• 지식 정련 기반 원리를 활용하여 소수의 예시 학습자의 예측을 강력한 교사의 출력과 일치시킴으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 풍부한 데이터로 훈련된 강력한 분류기에서 유도된 추가 감독이 소수의 예시 학습에서 메타학습 성능을 향상시킬 수 있는가?
• RQ2 강력한 교사 신호를 통합함으로써 메타학습의 성능 저하 현상이 다수의 예시 설정에서 완화되는가?
• RQ3 제안된 방법이 다양한 메타학습 프레임워크에 효과적이고 효율적으로 플러그 앤 플레이 컴ponent로 통합될 수 있는가?
• RQ4 다양한 예시 수에서 강력한 교사 감독을 통한 성능 향상으로 인해, 메타학습 기반 방법과 비메타학습 방법 간의 성능 비교는 어떻게 되는가?
• RQ5 강력한 교사의 사용이 저예시 및 고예시 소수의 예시 학습 과제에서 일반화 성능을 향상시키는가?

주요 결과

• LastShot은 mini-ImageNet과 tiered-ImageNet 모두에서 ProtoNet, MAML, MetaOptNet, FEAT 등의 모든 메타학습 기반 기준선의 성능을 크게 향상시켰다.
• 5-way 5-shot 설정에서 LastShot은 ProtoNet의 정확도를 기준선 대비 5% 이상 상승시켰으며, 회귀 과제에서는 평균 오차를 7.5% 감소시켰다.
• 50-shot 회귀 과제에서는 ProtoNet의 MSE를 1.2% 감소시키고, MetaOptNet의 MSE를 1.0% 감소시켜 고예시 설정에서도 일관된 성능 향상을 보였다.
• LastShot은 메타학습 방법이 PT-EMB와 같은 비메타학습 기반 기준선을 모든 예시 수에서 초월할 수 있도록 했으며, 50-shot 설정에서도 마찬가지였다.
• 시각화 결과, 특히 5개의 예시만 존재할 때 여러 해답이 가능한 상황에서 LastShot은 더 정확하고 신뢰도 높은 곡선 예측을 생성하는 것으로 나타났다.
• 이 방법은 다양한 소수의 예시 설정에서 뛰어난 강건성과 일반화 성능를 유지하며, 메타학습이 전통적인 소수의 예시 설정을 초월해 효과적으로 작동할 수 있음을 보여주었다.