[論文レビュー] Gaussian Prototypical Networks for Few-Shot Learning on Omniglot

Stanislav Fort|arXiv (Cornell University)|Aug 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 61

ひとこと要約

この論文はガウス的プロトタイプネットワークを提案し、各サンプルの不確実性を共分散で予測するようにプロトタイプネットワークを拡張。共分散ウェイト付き距離測度を用い、Omniglotの少数ショット分類を可能にし、最新の結果を達成。

ABSTRACT

We propose a novel architecture for $k$-shot classification on the Omniglot dataset. Building on prototypical networks, we extend their architecture to what we call Gaussian prototypical networks. Prototypical networks learn a map between images and embedding vectors, and use their clustering for classification. In our model, a part of the encoder output is interpreted as a confidence region estimate about the embedding point, and expressed as a Gaussian covariance matrix. Our network then constructs a direction and class dependent distance metric on the embedding space, using uncertainties of individual data points as weights. We show that Gaussian prototypical networks are a preferred architecture over vanilla prototypical networks with an equivalent number of parameters. We report state-of-the-art performance in 1-shot and 5-shot classification both in 5-way and 20-way regime (for 5-shot 5-way, we are comparable to previous state-of-the-art) on the Omniglot dataset. We explore artificially down-sampling a fraction of images in the training set, which improves our performance even further. We therefore hypothesize that Gaussian prototypical networks might perform better in less homogeneous, noisier datasets, which are commonplace in real world applications.

研究の動機と目的

• 少数ショット学習設定で未知クラスへの高速適応を動機づける。
• 各埋め込みの不確実性（共分散）を予測することでプロトタイプネットワークを拡張する。
• 共分散認識の指標がクラスプロトタイプと意思決定境界に及ぼす影響を評価する。
• 共分散ウェ weightingとデータセットのダウンサンプリングを通じてノイズが多い/不均一なデータに対する頑健性を調査する。

提案手法

• CNNエンコーダを用いて画像を埋め込みに写像し、各埋め込みに対して共分散（不確実性）を予測する。
• 三つの共分散の variants: radius（スカラー）、diagonal（ベクトル）、および full covariance（計算量の観点で使用しない）。
• サポート埋め込みの分散重み付き結合でクラスプロトタイプを構築する (p_c = sum(s_i ∘ x_i)/sum(s_i)).
• クラス共分散 s_c = sum(s_i) を定義し、クラスプロトタイプへの距離を d_c(i)^2 = (x_i - p_c)^T S_c (x_i - p_c) とし、S_c = Σ_c^{-1}。
• エピソード方式で訓練: 各クラスN_c、サポートN_s、クエリN_qを選択; 距離に対するsoftmaxクロスエントロピーを最適化。
• 埋め込み次元とエンコーダ容量を変えて実験; radius対 diagonal共分散を比較; 共分散の使用を促すための訓練データのダウンサンプリングの影響を評価。

実験結果

リサーチクエスチョン

• RQ1 Per-sampleの共分散を予測することは、vanillaなプロトタイプネットワークと比べてOmniglotの少数ショット分類を改善しますか？
• RQ2 この枠組みで不確実性をエンコードする最もパラメータ効率の良い方法は何ですか（radius対 diagonalまたは full covariance）？
• RQ3 訓練データを意図的に劣化させる（ダウンサンプリング）ことは、共分散推定の有用性と少数ショット精度にどのような影響を与えますか？
• RQ4 covariance-awareな指標は、従来の最先端と比較して1-shotおよび5-shot、5-wayおよび20-wayの設定で性能を改善しますか？

主な発見

• Gaussian prototypical networksは、同等のパラメータ数を持つ vanilla prototypical networksを上回る。
• 共分散の variant の中で、埋め込みごとに1つの radius 値を予測する radius 法が Omniglot で最も効果的である。
• 訓練データの一部をダウンサンプリングしてノイズが多い/不均一なデータを誘導すると、共分散推定の利用を促して k-shot の性能が向上する。
• 最適な big-model radius 設定は1-shotおよび5-shot、20-way分類で最新の結果を達成し、5-way 5-shotタスクでも競合的な結果を示す。
• 部分的に損傷したデータでの訓練は高ショット設定での性能をさらに向上させ、ノイズに対する共分散重み付けの頑健性を示唆する。