[論文レビュー] Prototypical Networks for Few-shot Learning

Jake Snell, Kevin Swersky+1 more|arXiv (Cornell University)|Mar 15, 2017

Domain Adaptation and Few-Shot Learning被引用数 5,185

ひとこと要約

プロトタイプ・ネットワークは、各クラスをその例の平均（プロトタイプ）で表す単純な埋め込みを学習します。分類はユークリッド距離による最近傍プロトタイプで行われ、少数ショットおよびゼロショットタスクで最先端の成績を達成します。

ABSTRACT

We propose prototypical networks for the problem of few-shot classification, where a classifier must generalize to new classes not seen in the training set, given only a small number of examples of each new class. Prototypical networks learn a metric space in which classification can be performed by computing distances to prototype representations of each class. Compared to recent approaches for few-shot learning, they reflect a simpler inductive bias that is beneficial in this limited-data regime, and achieve excellent results. We provide an analysis showing that some simple design decisions can yield substantial improvements over recent approaches involving complicated architectural choices and meta-learning. We further extend prototypical networks to zero-shot learning and achieve state-of-the-art results on the CU-Birds dataset.

研究の動機と目的

• 限られたデータでの過剰適合を抑制するため、少数ショット分類のためのデータ効率の高い単純な帰納的バイアスを動機づける。
• 埋め込み空間に各クラスを単一のプロトタイプで表すメトリックベースのアプローチを提案する。
• クラスプロトタイプへのユークリッド距離が高い性能を生むことを示し、混合密度とクラスタリングの概念を用いて手法を解釈する。
• クラスメタデータを埋め込み、プロトタイプを形成することでゼロショット学習へアプローチを拡張し、標準的なベンチマークで評価する。）

提案手法

• 入力をM次元空間へ写像する埋め込み関数 f_phi を学習する。
• 埋め込みサポート例の平均として各クラス k のプロトタイプ c_k を定義する： c_k = (1/|S_k|) sum_{(x_i,y_i) in S_k} f_phi(x_i)。
• クエリ x を分類するには、距離 d（主に二乗ユークリッド距離）を用いて exp(-d(f_phi(x), c_k)) に比例する p_phi(y=k|x) とする。
• サポートセットおよびクエリセットとしてクラスと例のsubsetをサンプルするエピソードを用いて、真のクラスの負の対数尤度を最小化することで訓練する。
• 確率的解釈を提供する：正則な Bregman 発散に対して、モデルはプロトタイプの平均をクラスタ中心とする有限混合分布に対応する。
• ゼロショット学習へ拡張するには c_k = g_theta(v_k) と設定し、v_k はクラスのメタデータ、g_theta は学習済みの埋め込み関数とする。必要に応じてプロトタイプのノルムを固定する。

実験結果

リサーチクエスチョン

• RQ1 クラスごとに固定数のプロトタイプを持つ単純なプロトタイプベースの埋め込みは、few-shot設定で見たことのないクラスに一般化できるか？
• RQ2 few-shot 学習のためのプロトタイプベース分類において、距離指標の選択は性能にどう影響するか？
• RQ3 エピソード方式と higher-way のエピソードで訓練することは few-shot タスクの一般化を改善するか？
• RQ4 クラスメタデータを用いたゼロショット学習へ、プロトタイプ的枠組みを効果的に拡張できるか？

主な発見

• Omniglot では Euclidean distance を用いた ProtNets が 1-shot: 98.8%、5-shot: 99.7% (5-way)、および 96.0%/98.9% (一部設定の 20-way)。
• miniImageNet では ProtNets が 1-shot: 49.42%、5-shot: 68.20% (5-way設定)、Matching Networks や Meta-Learner LSTM を含むベースラインを上回る。
• CUB のゼロショットでは GoogLeNet 特徴と 312-d 属性を用いた ProtNets が 54.6% の 50 クラス精度を達成、複数の属性ベースおよび埋め込み法を上回る。
• この枠組みでは Euclidean distance が cos(distance) を一貫して上回り、高次のエピソード訓練は一般化を改善する可能性がある。
• このアプローチは多くのメタ学習法よりも単純かつ効率的で、ベンチマーク全体で最先端の結果を達成している。