[論文レビュー] Learning to Propagate Labels: Transductive Propagation Network for Few-shot Learning

Yanbin Liu, Juho Lee+5 more|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning被引用数 486

ひとこと要約

TPNは、サポートセットとクエリセットの結合上にグラフを学習することで少数ショット学習のエンドツーエンドの転導的ラベル伝播を導入し、mini ImageNetとtiered ImageNetで最先端の結果を達成する。

ABSTRACT

The goal of few-shot learning is to learn a classifier that generalizes well even when trained with a limited number of training instances per class. The recently introduced meta-learning approaches tackle this problem by learning a generic classifier across a large number of multiclass classification tasks and generalizing the model to a new task. Yet, even with such meta-learning, the low-data problem in the novel classification task still remains. In this paper, we propose Transductive Propagation Network (TPN), a novel meta-learning framework for transductive inference that classifies the entire test set at once to alleviate the low-data problem. Specifically, we propose to learn to propagate labels from labeled instances to unlabeled test instances, by learning a graph construction module that exploits the manifold structure in the data. TPN jointly learns both the parameters of feature embedding and the graph construction in an end-to-end manner. We validate TPN on multiple benchmark datasets, on which it largely outperforms existing few-shot learning approaches and achieves the state-of-the-art results.

研究の動機と目的

• データ不足を緩和するために全問クエリセットに対する転導推論を活用することによって、少数ショット分類を解く動機づけ。
• 特徴埋め込みとタスク適応グラフを共同学習してラベル伝播を行うエンドツーエンドで学習可能なフレームワークを提案。
• エピソード学習を活用してテスト条件をシミュレートし、ラベル伝播機構を最適化。
• 標準ベンチマークで inductive/meta-learning ベースラインを上回ることを示す、転導的グラフを介してラベル伝播を学習する。

提案手法

• 入力をCNNで埋め込み、特徴表現 f_phi(x) を得る。
• 全ての S ∪ Q に対して f_phi(x_i) を用いたグラフ構築モジュール g_phi によって例ごとに長さスケールを持つグラフパラメータ sigma_i を構築する。
• 個々の例でスケーリングされた埋め込みを用いて kNN 類似グラフ W を計算し、グラフラプラシアン S = D^(-1/2) W D^(-1/2) で正規化する。
• ラベル伝播 F* = (I - αS)^(-1) Y を実行してサポートセットからクエリセットへラベルを伝播し、Y は既知のラベルをエンコードする。
• 伝播されたスコア F*（ソフトマックス化）と真のラベルとのクロスエントロピーを最小化することでエンドツーエンドに学習し、バックプロパゲーションで φ と φ を更新する。
• エピソードごとにグラフ構築（N-way K-shot）はタスクのマニホールドに適応するよう学習される；複雑さは n ≈ N×K + T で小さく保たれる（例：80–100）。

実験結果

リサーチクエスチョン

• RQ1 エピソード型メタ学習フレームワーク内で学習された転導的ラベル伝播は、従来の inductive 少数ショット法よりも上回るか？
• RQ2 例ごとグラフのスケールと距離を学習することで、未知クラス空間でのラベル伝播の精度は改善されるか？
• RQ3 より多ショットまたはより多ウェイの学習戦略が転導的少数ショットの性能に与える影響は？
• RQ4 標準ベンチマーク（mini ImageNet、tiered ImageNet）において、転導的伝播は最先端手法と比較してどうか？

主な発見

• TPNはmini ImageNetおよびtiered ImageNetで最先端の結果を達成し、従来の inductive および他の転導的ベースラインを上回る。
• 例ごとでタスク適応的なグラフを学習してラベル伝播を行うことで、特に1-shotシナリオで大幅な改善をもたらす。
• より多くのタスクあたりの例を使う高ショット学習はTPNの性能をさらに向上させ、1-shot設定ではより大きな改善が見られる。
• 半教師付き適応（TPN-semi）は、同等の半教師付き少数ショットベースラインよりも結果をさらに向上させる。
• ラベル付きデータが不足しているとき、全クエリセットを活用する転導的手法は特に有利で、ラベル付き集合が大きくなるとリターンは低下する。