[論文レビュー] On Episodes, Prototypical Networks, and Few-shot Learning

Steinar Laenen, Luca Bertinetto|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 15

ひとこと要約

この論文は、エピソード学習が少サンプル学習において本当に必要であるかを疑問視し、非パラメトリック手法（例：プロトタイプネットワークやマッチングネットワーク）がエピソードなしで訓練された場合に顕著に優れた性能を示すことを示している。エピソード損失の代わりにNeighbourhood Component Analysis（NCA）を用いることで、より単純なモデルと少ないハイパーパrameterで、miniImageNet、CIFAR-FS、tieredImageNetの標準ベンチマークで最先端の性能を達成した。

ABSTRACT

Episodic learning is a popular practice among researchers and practitioners interested in few-shot learning. It consists of organising training in a series of learning problems (or episodes), each divided into a small training and validation subset to mimic the circumstances encountered during evaluation. But is this always necessary? In this paper, we investigate the usefulness of episodic learning in methods which use nonparametric approaches, such as nearest neighbours, at the level of the episode. For these methods, we not only show how the constraints imposed by episodic learning are not necessary, but that they in fact lead to a data-inefficient way of exploiting training batches. We conduct a wide range of ablative experiments with Matching and Prototypical Networks, two of the most popular methods that use nonparametric approaches at the level of the episode. Their "non-episodic" counterparts are considerably simpler, have less hyperparameters, and improve their performance in multiple few-shot classification datasets.

研究の動機と目的

• プロトタイプネットワークやマッチングネットワークのような非パラメトリックな少サンプル学習手法において、エピソード学習が本当に必要であるかどうかを調査すること。
• エピソード学習におけるサポート-クエリ分割が引き起こす性能の低下を同定すること。
• NCAを用いた非エピソード学習が、エピソードベースラインを上回りながらモデルの複雑さを軽減できるかどうかを評価すること。
• エピソード学習が、訓練バッチの貴重なペアワイズ距離を無視することで、データ非効率な使用を引き起こすことを立証すること。
• メタラーニングやハイパーパrameterに依存するエピソード設計を避ける、単純で効果的な少サンプル学習のベースラインを確立すること。

提案手法

• プロトタイプネットワークやマッチングネットワークにおけるエピソード学習を、非エピソード的メトリック学習目的であるNeighbourhood Component Analysis（NCA）に置き換える。
• サポートセットとクエリセットに分割せず、全バッチに対して標準的な交差エントロピー損失を用いて特徴抽出器を訓練する。
• NCA損失を用いて、バッチ内の全利用可能な例に基づいてクラス固有の重心または最近傍決定を最適化する。
• エピソード手法が多くのペアワイズ距離を無視するのに対し、全バッチのすべてのペアワイズ距離が損失に寄与するように、エンドツーエンドで全バッチでモデルを訓練する。
• 標準的な少サンプルベンチマーク（miniImageNet、CIFAR-FS、tieredImageNet）で、得られた非エピソードモデルの性能を評価する。
• 元のエピソードバージョンおよび最近の最先端手法と比較し、精度とハイパーパrameter感受性に注目する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプネットワークやマッチングネットワークのような非パラメトリックな少サンプル学習手法におけるエピソード学習は、データ非効率を引き起こすのか？
• RQ2 NCAに基づく非エピソード的訓練戦略は、追加の複雑さを導入せずにエピソードベースラインを上回ることができるのか？
• RQ3 エピソードにおけるサポート-クエリ分割によって、訓練に使用される有用なペアワイズ距離の数がどの程度減少するのか？
• RQ4 エピソードモデルは、ウェイズ数、ショット数、クエリ数といったハイパーパrameterに対してどの程度感受性を示すのか？
• RQ5 より単純な非エピソード的ベースラインは、標準的な少サンプルベンチマークで競争力のある性能を達成できるのか？

主な発見

• NCA損失を用いた非エピソード的訓練は、miniImageNet、CIFAR-FS、tieredImageNetのすべてでエピソード版のプロトタイプネットワークやマッチングネットワークを上回る性能を示した。
• 性能向上の背景には、バッチ内のすべてのペアワイズ距離が活用されているのに対し、エピソード学習では最大で半分の距離が無視されていることにある。
• エピソード学習は、実際には大量の訓練サンプルをランダムに破棄していることに等しく、データ非効率を引き起こしている。
• 非エピソード的NCAベースの手法は、エピソードバージョンと比較してハイパーパラメータが少なく、より簡単に訓練できる。
• 非エピソードモデルは、メタラーニングやテスト時適応なしでも、最先端の手法と競争力のある精度を達成した。
• エピソード戦略は顕著なハイパーパラメータ感受性を示すが、非エピソード的NCAアプローチではこれが解消された。