[論文レビュー] DPGN: Distribution Propagation Graph Network for Few-shot Learning

L. Yang, Liangliang Li+4 more|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 24

ひとこと要約

DPGNは、few-shot学習におけるインスタンスレベルおよび分布レベルの関係を明示的にモデル化する、新しいデュアル・コンプリート・グラフネットワークを導入する。ポイント・グラフと分布グラフを交互にラベル情報を伝播させることで、ベンチマークデータセット上で、教師あり設定では前人を上回る5%–12%、半教師あり設定では7%–13%の性能向上を達成する。

ABSTRACT

Most graph-network-based meta-learning approaches model instance-level relation of examples. We extend this idea further to explicitly model the distribution-level relation of one example to all other examples in a 1-vs-N manner. We propose a novel approach named distribution propagation graph network (DPGN) for few-shot learning. It conveys both the distribution-level relations and instance-level relations in each few-shot learning task. To combine the distribution-level relations and instance-level relations for all examples, we construct a dual complete graph network which consists of a point graph and a distribution graph with each node standing for an example. Equipped with dual graph architecture, DPGN propagates label information from labeled examples to unlabeled examples within several update generations. In extensive experiments on few-shot learning benchmarks, DPGN outperforms state-of-the-art results by a large margin in 5% $\sim$ 12% under supervised setting and 7% $\sim$ 13% under semi-supervised setting. Code will be released.

研究の動機と目的

• 既存のグラフベースのメタラーニング手法がペairワイズ（インスタンスレベル）の関係にのみ焦点を当てているという限界に対処する。
• 少数のラベル付きサンプル全体の分布に対する各サンプルの関係を明示的にモデル化する分布レベルの関係を、few-shot学習タスク内で定式化する。
• サイクル的なデュアル・グラフアーキテクチャにより、インスタンスレベルおよび分布レベルの関係を統合することで、ラベル伝搬と特徴の精錬を向上させる。
• 分布類似度ブリッジを用いて未ラベル付きのサポートサンプルを活用することで、半教師ありfew-shot学習へフレームワークを拡張する。
• 教師ありおよび半教師ありfew-shot学習ベンチマークにおいて、最先端の手法を著しく上回る精度の向上を実証する。

提案手法

• 各ノードがサポートまたはクエリサンプルを表すポイント・グラフ（PG）を構築し、深層ニューラルネットワークの埋め込みから特徴を抽出する。
• 各サンプルとすべてのサポートサンプル間の1対N類似度分布を計算することで、分布グラフ（DG）を構築し、分布レベルの表現を形成する。
• サイクル的更新メカニズムを実装：PGから分布表現を介してDGにラベル情報を伝播させ、次にDGの分布関係を用いてPGを精錬する。
• 複数世代（最大6世代まで）にわたり、ノードおよびエッジの更新モジュールを両グラフに適用し、反復的に特徴を精錬する。
• エピソード学習中にポイント・グラフ損失と分布グラフ損失を統合し、ネットワークパラメータを共同で最適化する。
• 未ラベル付きサンプルをサポートセットに統合し、分布類似度を用いてラベルをラベル付きおよび未ラベル付きノード間で伝搬することで、半教師あり学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 すべてのサポートサンプルの集合に対する各サンプルの関係を、インスタンスレベルの関係を超えてモデル化することで、few-shot分類性能が向上するか？
• RQ2 ポイント・グラフと分布グラフの間のサイクル的相互作用は、ラベル伝搬および特徴の区別能をどのように向上させるか？
• RQ3 DPGNにおけるサイクル的メッセージ伝達の最適な世代数は何か？ これは、精度と収束時間のバランスを取るために重要である。
• RQ4 未ラベル付きサンプルがサポートセットに存在する半教師ありfew-shot学習において、DPGNはどの程度効果的か？
• RQ5 インスタンスレベルの関係のみに依存する場合と比較して、分布レベルの関係は性能向上にどの程度貢献するか？

主な発見

• miniImageNet、tieredImageNet、CUB-200-2011、CIFAR-FSのベンチマークデータセットにおいて、教師あり設定下で最先端の手法を5%–12%の絶対的精度上昇で上回る。
• 半教師ありfew-shot学習において、DPGNは既存のグラフベース手法を7%–13%の精度向上で上回り、未ラベル付きサポートサンプルを有効に活用した強力な一般化性能を示す。
• アブレーションスタディの結果、分布グラフのエッジ特徴をマスクした場合、0–5次元に制限すると精度が約10%低下する。これは、分布レベルの関係が極めて重要な役割を果たしていることを証明する。
• 最適な世代数は6であり、この点以降は精度が頭打ちとなり、変動が生じる。これは性能と計算コストのバランスを取る上で最適である。
• 類似度行列の可視化結果から、DPGNは世代を経るごとにインスタンスレベルの類似度を精錬し、クラス間距離を拡大し、予測の信頼性を向上させている。
• デュアル・グラフアーキテクチャは、最終予測生成におけるより明確で明確なヒートマップを示すことで、特徴の区別能の向上を成功裏に実現している。