[論文レビュー] Few-Shot Learning with a Strong Teacher

Han-Jia Ye, Lü Ming+2 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文では、豊富なデータで事前学習された強力な教師分類器を用いてメタ学習中の追加の監視を提供することで、少サンプル学習を向上させる、プラグアンドプレイな手法LastShotを提案する。強力な教師から知識蒸留を行うことで、あらゆるショット設定において一貫した性能向上を達成し、メタ学習および非メタ学習のベースラインを上回る性能を示す。これは、多くのショット設定においても同様に有効である。

ABSTRACT

Few-shot learning (FSL) aims to generate a classifier using limited labeled examples. Many existing works take the meta-learning approach, constructing a few-shot learner that can learn from few-shot examples to generate a classifier. Typically, the few-shot learner is constructed or meta-trained by sampling multiple few-shot tasks in turn and optimizing the few-shot learner's performance in generating classifiers for those tasks. The performance is measured by how well the resulting classifiers classify the test (i.e., query) examples of those tasks. In this paper, we point out two potential weaknesses of this approach. First, the sampled query examples may not provide sufficient supervision for meta-training the few-shot learner. Second, the effectiveness of meta-learning diminishes sharply with the increasing number of shots. To resolve these issues, we propose a novel meta-training objective for the few-shot learner, which is to encourage the few-shot learner to generate classifiers that perform like strong classifiers. Concretely, we associate each sampled few-shot task with a strong classifier, which is trained with ample labeled examples. The strong classifiers can be seen as the target classifiers that we hope the few-shot learner to generate given few-shot examples, and we use the strong classifiers to supervise the few-shot learner. We present an efficient way to construct the strong classifier, making our proposed objective an easily plug-and-play term to existing meta-learning based FSL methods. We validate our approach, LastShot, in combinations with many representative meta-learning methods. On several benchmark datasets, our approach leads to a notable improvement across a variety of tasks. More importantly, with our approach, meta-learning based FSL methods can outperform non-meta-learning based methods at different numbers of shots.

研究の動機と目的

• クエリセットのみの監視によるメタ学習ベースの少サンプル学習の非効率性、特にクエリセットが小さい場合の課題を解決する。
• ショット数の増加に伴い効果が低下するメタ学習の限界を克服する。
• メタ学習中に強力な分類器の監視を導入することで、少サンプル学習者の一般化性能を向上させる。
• 既存のメタ学習フレームワークと互換性があり、あらゆるショット設定で性能を向上させる実用的でプラグアンドプレイな手法を開発する。

提案手法

• ベースクラスからサンプリングされた各少サンプルタスクに対して、同じベースクラスの全利用可能なラベル付き例を用いて強力な分類器を訓練する。
• メタ学習中に、クエリ例に対する少サンプル学習者の予測を、強力な分類器の出力をターゲットとして監視する。
• 強力な教師分類器のソフトマックス正規化済み信頼度スコアを用いて、教師が良好に予測するクエリ例を優先する重み付き二乗損失を適用する。
• アーキテクチャの変更なしに、既存のメタ学習手法にLastShot損失をプラグインとして統合する。
• 標準的な訓練をベースクラスの全データに対して行うことで、強力な分類器を効率的に構築し、容易な展開を可能にする。
• 知識蒸留の原則を活用して、少サンプル学習者の予測を強力な教師の出力と一致させることで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 豊富なデータで事前学習された強力な分類器からの追加の監視が、少サンプル学習におけるメタ学習を改善できるか？
• RQ2 強力な教師信号を統合することで、ショット数の増加に伴うメタ学習の性能低下が緩和されるか？
• RQ3 提案手法が、多様なメタ学習フレームワークに効果的かつ効率的にプラグアンドプレイなコンponentsとして統合可能か？
• RQ4 さまざまなショット数において、強力な教師監視が強化されたメタ学習ベースの手法と非メタ学習手法の性能を比較するとどうなるか？
• RQ5 強力な教師の使用が、低ショットおよび高ショットの少サンプル学習タスクの両方で一般化性能を向上させるか？

主な発見

• LastShotは、mini-ImageNetおよびtiered-ImageNetの両方で、ProtoNet、MAML、MetaOptNet、FEATといったあらゆるメタ学習ベースラインにおいて顕著な性能向上を達成した。
• 5-way 5-shot設定では、LastShotはProtoNetの正確性をベースライン比で5%以上向上させ、回帰タスクでは平均誤差を7.5%削減した。
• 50ショットの回帰タスクでは、ProtoNetでMSEを1.2%、MetaOptNetで1.0%削減し、高ショット設定でも一貫した向上を示した。
• LastShotにより、メタ学習手法はPT-EMBのような非メタ学習ベースラインを、50ショット設定を含むあらゆるショット数においても上回った。
• 可視化結果から、特に5ショットの状況では、複数の妥当な解が存在する中で、LastShotはより正確で信頼性の高い曲線予測を生成することがわかった。
• 本手法は多様な少サンプル設定においても頑健性と一般化性能を維持しており、メタ学習が伝統的な少サンプル学習の範囲を超えて有効であることを示している。