[論文レビュー] Edge-labeling Graph Neural Network for Few-shot Learning

Jongmin Kim, Taesup Kim+2 more|arXiv (Cornell University)|May 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 31

ひとこと要約

本稿では、ノードラベルの代わりにエッジラベルを繰り返し更新することで、クラスタ内類似性とクラスタ間相違性を明示的にモデル化する、新規な少サンプル学習フレームワークであるエッジラベル付きグラフニューラルネットワーク（EGNN）を提案する。EGNNは、教師ありおよび半教師ありの少サンプル画像分類ベンチマークにおいて、既存のGNNを上回り、再訓練なしに異なるクラス数に一般化可能であり、エッジラベル損失を用いたエピソード学習により、ロバストな伝達的推論を可能にする。

ABSTRACT

In this paper, we propose a novel edge-labeling graph neural network (EGNN), which adapts a deep neural network on the edge-labeling graph, for few-shot learning. The previous graph neural network (GNN) approaches in few-shot learning have been based on the node-labeling framework, which implicitly models the intra-cluster similarity and the inter-cluster dissimilarity. In contrast, the proposed EGNN learns to predict the edge-labels rather than the node-labels on the graph that enables the evolution of an explicit clustering by iteratively updating the edge-labels with direct exploitation of both intra-cluster similarity and the inter-cluster dissimilarity. It is also well suited for performing on various numbers of classes without retraining, and can be easily extended to perform a transductive inference. The parameters of the EGNN are learned by episodic training with an edge-labeling loss to obtain a well-generalizable model for unseen low-data problem. On both of the supervised and semi-supervised few-shot image classification tasks with two benchmark datasets, the proposed EGNN significantly improves the performances over the existing GNNs.

研究の動機と目的

• ノードラベルを用いるGNNの限界、すなわち類似性と相違性を暗黙的にモデル化し、異なるクラス数に対応するためには再訓練が必要であるという点を解決すること。
• 2つのノードが同じクラスに属するかどうかを示すエッジラベルを明示的に学習するフレームワークを開発し、クラスタ内およびクラスタ間の関係を直接活用可能にする。
• 再訓練なしに、5クラス vs. 10クラスなど、異なる少サンプルクラス数に一般化可能にする。モデルの柔軟性を向上させる。
• 限られたラベル付きデータにおける伝達的および非伝達的推論を統合されたフレームワークでサポートし、ロバスト性を向上させる。
• エピソード学習とエッジラベル損失を用いることで、少サンプル画像分類タスクにおける優れた性能を実証すること。

提案手法

• EGNNは、複数層にわたり交互にノード更新ブロックとエッジ更新ブロックを実行する二重ブロックアーキテクチャを採用し、各ブロックに学習可能なパラメータを備える。
• ノード特徴量は隣接ノードからのメッセージパッシングにより更新される一方、エッジ特徴量は、接続されたノードが同じクラスに属するかどうかを予測するために明示的に更新される。
• エッジラベルは初期値0.5（不確実性）として設定され、層を経て真の類似性を反映するように変化し、最終的なエッジ特徴量から予測が導かれる。
• モデルはエピソード学習により訓練され、各エピソードでサポートセットとクエリセットを用いた少サンプルタスクをシミュレートし、エッジラベル損失を最適化に用いる。
• すべてのクエリサンプルを同時に処理できるため、伝達的推論が自然に可能となり、予測の一貫性が向上する。
• エッジラベルのパラダイムにより、5ウェイや10ウェイなど、クラス数の異なる状況にスケーラブルに適応可能であり、アーキテクチャの変更や再訓練なしに対応可能である。

実験結果

リサーチクエスチョン

• RQ1 従来のノードラベルGNNと比較して、GNNフレームワーク内でエッジラベルを明示的にモデル化することで、少サンプル分類性能が向上するか？
• RQ2 EGNNフレームワークは、再訓練なしに、5ウェイと10ウェイの少サンプルクラス数に一般化可能か？
• RQ3 繰り返しエッジラベルを更新するプロセスは、ノード特徴量のみの伝搬と比較して、クラスタリングおよびクエリ予測をどのように向上させるか？
• RQ4 限られたラベル付きデータにおいて、EGNNは少サンプルタスクでロバストな伝達的推論を達成できるか？
• RQ5 エッジラベル損失は、低データ環境下でのメトリクス学習および一般化をどのように向上させるか？

主な発見

• EGNNは5ウェイ5ショットのminiImageNetベンチマークで76.37%の精度を達成し、先行するGNNモデル（66.41%）およびプロトタイプネットワーク（65.77%）を顕著に上回った。
• 異なるウェイ数の設定においてもEGNNは強力な性能を維持した：10ウェイ5ショットでは76.27%、5ウェイ10ショットでは56.35%を記録し、クラス数に依存しない堅牢な一般化を示した。
• t-SNE可視化では、EGNNが優れたクラスタリング行動を示した：同じクラスに属するサポートおよびクエリサンプルが引き寄せられ、異なるクラス同士は遠ざけられた。
• EGNNにおけるエッジ特徴量の伝搬は、初期値の均一な値（0.5）から真のエッジラベルに近づくように変化し、類似関係の有効な学習を示した。
• EGNNは、特にラベル付きサンプルが少ない状況において、ノードラベルGNNよりもよりロバストな予測を可能にする伝達的推論を実現した。
• エッジラベルのパラダイムにより、EGNNは再訓練なしに任意のクラス数を処理可能であるのに対し、ノードラベルGNNはクラス数に応じたモデル再構成が必要である。