[論文レビュー] Few-Shot Learning with Graph Neural Networks

Víctor García, Joan Bruna|arXiv (Cornell University)|Nov 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 437

ひとこと要約

本論文はfew-shot学習を、画像コレクションから構築された完全連結グラフ上の教師付き補間として位置づけ、学習済みのエッジ特徴を持つグラフニューラルネットワークを用いてラベル情報を伝搬させる。

ABSTRACT

We propose to study the problem of few-shot learning with the prism of inference on a partially observed graphical model, constructed from a collection of input images whose label can be either observed or not. By assimilating generic message-passing inference algorithms with their neural-network counterparts, we define a graph neural network architecture that generalizes several of the recently proposed few-shot learning models. Besides providing improved numerical performance, our framework is easily extended to variants of few-shot learning, such as semi-supervised or active learning, demonstrating the ability of graph-based models to operate well on 'relational' tasks.

研究の動機と目的

• 入力画像から構築された部分的に観測されたグラフィカルモデルに基づく推論として、few-shot学習を動機づける。
• ラベル付きおよびラベルなし画像の集合に対してラベル情報を伝搬することを学習するGNNフレームワークを提案する。
• OmniglotとMini-Imagenetで、GNNが少ないパラメータで最先端と同等またはそれに近い性能を達成することを示す。
• 半監視学習およびアクティブ学習のシナリオへの拡張を実演する。

提案手法

• 画像コレクションを、ノードを画像、エッジを学習可能な類似度カーネルによって得られる完全連結グラフとして表現する。
• メッセージパッシングを行う層を備えたグラフニューラルネットワークを用い、ノード特徴と学習済みエッジ特徴の両方を組み込む（Eq. 2 および Eq. 3–4）。
• ノード特徴を、CNNで画像を埋め込み、既知のラベルを1-hotベクトルとして結合して初期化する；ラベルなしノードはクラスラベルに対する一様事前分布を用いる。
• 最終ノード表現上のsoftmaxを介してクエリノードのラベルを予測するよう、エンドツーエンドで訓練する。
• ラベルなしノードを一様なラベル事前分布で含めて半監視学習に拡張し、どのラベルなしノードをクエリするかを学習することでアクティブ学習へ拡張する（ラベルなしノード上のSoftmax attention）。
• Siamese、Prototypical、Matching Networks を、グラフベースのメッセージパッシングの特殊ケースとして関連付ける。

実験結果

リサーチクエスチョン

• RQ1 few-shot学習を、学習可能なエッジ特徴を持つグラフ上の推論として、GNNとしてエンドツーエンドに訓練することで効果的に定式化できるか。
• RQ2 GNNアプローチは、従来手法よりも少ないパラメータで標準的なfew-shotベンチマークで競争力のある精度を達成するか。
• RQ3 基本的な訓練目的の変更なしに、モデルは半監視学習およびアクティブ学習設定へ自然に拡張できるか。
• RQ4 学習されたエッジ特徴隣接性の学習は、ラベル情報の伝搬において固定された類似度指標とどう比較されるか。
• RQ5 密で完全連結なグラフにおけるfew-shotタスクの性能に対する、グラフベースのメッセージパッシングの深さの影響は何か。

主な発見

• GNNアプローチはOmniglotとMini-Imagenetで競争力のある精度を達成し、いくつかの最先端手法と同等またはそれを上回り、はるかに少ないパラメータで実現している。
• 本モデルは、few-shot、半監視、アクティブ学習を1つのグラフベースのフレームワークに統合する。
• 半監視実験では、ラベルなしデータが性能を大幅に向上させることを示し、時にはラベル数が少ない設定で高ラベル設定と同等になることもある。
• アクティブ学習実験は、学習済みのクエリ戦略がMini-ImagenetとOmniglotでランダムラベリングを上回り、精度を向上させることを示す。
• アーキテクチャは、Siamese、Prototypical、Matching Networksなど、いくつかの既存のfew-shotモデルを、グラフベースのメッセージパッシングの特殊ケースとして一般化する。
• 手法はエンドツーエンド訓練可能で、入力集合に対して置換不変である。