[論文レビュー] Few-shot Learning with Meta Metric Learners

Yu Cheng, Mo Yu+2 more|arXiv (Cornell University)|Jan 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 19

ひとこと要約

この論文は、少数ショット学習のためのメタメトリックラーナーを提案しており、LSTMベースのメタラーナーとタスク固有のメトリック分類器を組み合わせることで、クラスの不均衡やタスク間でのラベル数の多様性に対処する。メタ学習で得た最適化パラメータを用いてタスク固有のメトリックを学習することで、標準的な「kショット N方式」と、柔軟なラベル数を有する現実的で多ドメインな少数ショット設定の両方において、先行手法を上回る性能を発揮する。

ABSTRACT

Few-shot Learning aims to learn classifiers for new classes with only a few training examples per class. Existing meta-learning or metric-learning based few-shot learning approaches are limited in handling diverse domains with various number of labels. The meta-learning approaches train a meta learner to predict weights of homogeneous-structured task-specific networks, requiring a uniform number of classes across tasks. The metric-learning approaches learn one task-invariant metric for all the tasks, and they fail if the tasks diverge. We propose to deal with these limitations with meta metric learning. Our meta metric learning approach consists of task-specific learners, that exploit metric learning to handle flexible labels, and a meta learner, that discovers good parameters and gradient decent to specify the metrics in task-specific learners. Thus the proposed model is able to handle unbalanced classes as well as to generate task-specific metrics. We test our approach in the `$k$-shot $N$-way' few-shot learning setting used in previous work and new realistic few-shot setting with diverse multi-domain tasks and flexible label numbers. Experiments show that our approach attains superior performances in both settings.

研究の動機と目的

• タスク間で一様な「N方式」のクラス数を仮定する既存の少数ショット学習手法の制限を解消すること。
• タスクがドメインやラベル構造で異なる場合に、メトリック学習手法におけるタスク不変メトリックの不柔軟性を克服すること。
• ラベル数が異なるタスク固有のネットワークの間で一般化できるメタラーニングを可能にすること。
• 変動するラベル数と不均衡なクラス分布を伴う現実的で多ドメインな状況において、少数ショット学習の性能を向上させること。
• マッチングネットワークにおける勾配降下法をガイドするためのメタ学習された最適化パラメータの有効性を示すこと。

提案手法

• LSTMベースのメタラーナーを用いて、タスク固有のメトリックラーナーのパラメータと最適化ダイナミクスを予測する。
• ベースラーナーとしてマッチングネットワークを採用し、そのメトリクスをメタラーナーの予測値でパラメータ化する。
• ラベル数とラベル分布が異なるタスクの分布を用いてメタラーナーを訓練する。
• メタラーナーがベースラーナーにおける勾配降下法をガイドし、タスク固有のメトリック適合を可能にする。
• 2段階の訓練プロセスを採用する：まずメタラーナーが多様なタスクから学習し、次にベースラーナーがメタ予測パラメータを用いてタスクごとに適応する。
• ベース分類器における表現学習を強化するためにFCE（特徴条件付き埋め込み）を統合する。

実験結果

リサーチクエスチョン

• RQ1 ラベル数が異なるタスクにおいて、メタラーナーがタスク固有のメトリック学習を効果的にガイドできるか？
• RQ2 タスク不変メトリックと比較して、タスク固有のメトリックを学習することで少数ショット一般化性能が向上するか？
• RQ3 多ドメインで不均衡なタスクを伴う現実的で少数ショットな設定において、提案手法はどの程度の性能を示すか？
• RQ4 限られたデータにおける少数ショット学習の性能向上に、メタ学習された最適化パラメータが寄与するか？
• RQ5 標準的および現実的な少数ショットベンチマークの両方において、モデルは既存のメタラーニングおよびメトリックラーニングベースラインと比較してどの程度の性能を示すか？

主な発見

• FCEを用いた多ドメイン少数ショットベンチマークにおいて、メタメトリックラーナーは60.82%の精度を達成し、先行手法を上回った。
• 3対5クラスのスプリットを伴う単一タスクのSCS設定では、4ショットで59.02%の精度を記録し、メタラーナーLSTMおよびマッチングネットワークベースラインを著しく上回った。
• Omniglotデータセットでは、FCEを用いた4ショットで98.47%の精度を達成し、次に良い手法よりも1%以上優れた。
• 不均衡な設定においても頑健性を示し、他のモデルが失敗または性能を発揮できない困難な3対5スプリットにおいても、性能向上を達成した。
• FCEの導入によりSCSでの性能が向上したが、Omniglotではやや小さい効果にとどまり、ドメイン依存的な利点が示唆された。
• 標準的な「kショット N方式」と現実的で多ドメインな少数ショット学習設定の両方で、最先端の性能を達成した。