[論文レビュー] Semi-Supervised Few-Shot Learning with Prototypical Random Walks

Ahmed Ayyad, Li, Yuchen+3 more|arXiv (Cornell University)|Mar 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 5

ひとこと要約

本稿では、プロトタイプネットワークを拡張して、未ラベルデータポイントをそのクラスのプロトタイプに引き寄せるグローバルでグラフベースのランダムウォーク損失を導入した、半教師あり少数ショット学習手法であるプロトタイプランダムウォークネットワーク（PRWN）を提案する。この手法は最先端の性能を達成し、1ショットのmini-ImageNetでは完全に教師ありのプロトタイプネットワーク（49.4% 対 50.89%）を上回り、未ラベルデータにダミークラスが存在する状況でも頑健である。

ABSTRACT

Recent progress has shown that few-shot learning can be improved with access to unlabelled data, known as semi-supervised few-shot learning(SS-FSL). We introduce an SS-FSL approach, dubbed as Prototypical Random Walk Networks(PRWN), built on top of Prototypical Networks (PN). We develop a random walk semi-supervised loss that enables the network to learn representations that are compact and well-separated. Our work is related to the very recent development of graph-based approaches for few-shot learning. However, we show that compact and well-separated class representations can be achieved by modeling our prototypical random walk notion without needing additional graph-NN parameters or requiring a transductive setting where a collective test set is provided. Our model outperforms baselines in most benchmarks with significant improvements in some cases. Our model, trained with 40$\%$ of the data as labeled, compares competitively against fully supervised prototypical networks, trained on 100$\%$ of the labels, even outperforming it in the 1-shot mini-Imagenet case with 50.89$\%$ to 49.4$\%$ accuracy. We also show that our loss is resistant to distractors, unlabeled data that does not belong to any of the training classes, and hence reflecting robustness to labeled/unlabeled class distribution mismatch. Associated GitHub page can be found at https://prototypical-random-walk.github.io.

研究の動機と目的

• 未ラベルデータを活用する新しい半教師ありトレーニング信号を導入することで、少数ショット学習を向上させること。
• 少数ショット学習におけるラベルデータの不足という課題に対処し、表現の識別性を高めるグローバルな一貫性損失を導入すること。
• ダミークラスなどの分布の不一致に強い手法を開発すること。
• 敵対的またはグラフベースの損失を用いる既存の半教師あり少数ショット学習ベースラインを上回ること。
• ランダムウォークによるグローバル一貫性が、少数ショット設定において局所的一貫性損失（例：VAT）を凌駕することを示すこと。

提案手法

• 本手法はプロトタイプネットワーク（PN）を基盤とし、未ラベル埋め込みを介して同じクラスプロトタイプから出発し同じプロトタイプで終了するウォークの確率を最大化するランダムウォークベースの半教師あり損失を導入する。
• エピソード内のすべてのプロトタイプと未ラベル点に対して類似度グラフを構築し、モデルがグローバルな多様体構造を学習できるようにする。
• ランダムウォーク損失は「プロトタイプへの引き寄せ」を実現し、同じクラスの点はそのプロトタイプに引き寄せられ、他のクラスの点からは排斥される。
• 対称正規化グラフラプラシアンから導出される遷移確率を用いて損失関数を計算することで、安定的かつ微分可能なウォークダイナミクスを保証する。
• 推論時に、ウォーク成功確率を用いたシンプルなフィルタリング機構を提案し、ダミー点の棄却を可能にすることで頑健性を向上させる。
• エピソードトレーニングを用いたエンドツーエンドのメタラーニングでモデルを訓練し、各エピソードには適応用のサポートセットと評価用のクエリセットが含まれる。

実験結果

リサーチクエスチョン

• RQ1 局所的一貫性損失（例：VAT）を上回るグローバルでグラフベースの一貫性信号は、少数ショット表現学習を向上させ得るか？
• RQ2 プロトタイプランダムウォーク損失は、未ラベルデータ内のダミー点に対してモデルの頑健性をどのように向上させるか？
• RQ3 40%のラベルデータでのみトレーニングされた半教師あり少数ショットモデルが、100%のラベルでトレーヲンされた完全に教師ありモデルを上回るか？
• RQ4 ランダムウォークダイナミクスは、どれほど自然に不要な（ダミー）点をクラスプロトタイプから排斥するか？
• RQ5 ウォーク成功確率に基づくシンプルなフィルタリングステップは、ダミーが存在する状況での半教師あり推論をどれほど改善できるか？

主な発見

• PRWNは1ショットのmini-ImageNetでトップ1正解率50.89%を達成し、完全に教師ありのプロトタイプネットワーク（49.4%）を上回り、新たな最先端を樹立した。
• 5ショットのmini-ImageNetでは68.77%の正解率を達成し、Meta-GAN や PN+Soft K-Means を含む先行手法を上回った。
• ダミー要因が存在する状況でも強固な性能を維持し、クリーンな点への到達確率が0.81と高く、PN（0.67）やPN+all（0.76）を大きく上回った。
• ウォーク成功確率に基づくシンプルな中央値フィルタを適用することで、PRWNは半教師あり推論を向上させ、Omniglotでは99.04%、5ショットのTiered-ImageNetでは69.74%の正解率を達成した。
• プロトタイプランダムウォーク損失は、関連する点を引き寄せる引力とダミー点を避けさせる斥力の両方を提供し、追加のグラフニューラルネットワークパラメータを必要としない。
• すべてのベンチマークでVATベースのPNを上回り、ランダムウォークによるグローバル一貫性が、少数ショット半教師あり学習において局所的一貫性よりも効果的であることを示した。