[論文レビュー] Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

Fan Zhou, Chengtai Cao+4 more|arXiv (Cornell University)|May 23, 2019

Advanced Graph Neural Networks参考文献 12被引用数 34

ひとこと要約

Meta-GNNは、エピソード学習を通じて転移可能な初期化を学習し、Few-shot node classificationを可能にするためにグラフニューラルネットワークとメタ学習を統合します。ラベル付きデータが最小限でも新しいクラスに迅速に適応します。

ABSTRACT

Meta-learning has received a tremendous recent attention as a possible approach for mimicking human intelligence, i.e., acquiring new knowledge and skills with little or even no demonstration. Most of the existing meta-learning methods are proposed to tackle few-shot learning problems such as image and text, in rather Euclidean domain. However, there are very few works applying meta-learning to non-Euclidean domains, and the recently proposed graph neural networks (GNNs) models do not perform effectively on graph few-shot learning problems. Towards this, we propose a novel graph meta-learning framework -- Meta-GNN -- to tackle the few-shot node classification problem in graph meta-learning settings. It obtains the prior knowledge of classifiers by training on many similar few-shot learning tasks and then classifies the nodes from new classes with only few labeled samples. Additionally, Meta-GNN is a general model that can be straightforwardly incorporated into any existing state-of-the-art GNN. Our experiments conducted on three benchmark datasets demonstrate that our proposed approach not only improves the node classification performance by a large margin on few-shot learning problems in meta-learning paradigm, but also learns a more general and flexible model for task adaption.

研究の動機と目的

• グラフ上の少数ショットノード分類問題をメタ学習フレームワーク内で動機付ける。
• 既存のGNNを迅速な新クラス適応のために拡張できる汎用のグラフメタ学習フレームワークを提案する。
• 多くの関連タスクを横断するメタ訓練を通じてGNNの転移初期化を学習する。
• 標準的なグラフデータセットで最先端のベースラインに対して実証的な利得を示す。

提案手法

• 各タスクがグラフ上のK-shot、|C2|-ウェイノード分類問題を模倣するエピソードメタ学習設定を採用する。
• MAML風の勾配更新を用いて少数の勾配ステップで適応するパラメータ初期化を学習する。
• メタ学習目的を標準のGNN（例: GCNやSGC）とタスク固有のファインチューニングを通じて統合する。
• タスクごとにクラスのサブセットと小さなサポートセット＋クエリセットを選択してメタ訓練タスクをサンプリングする。
• 各タスクで1回または数回の勾配更新の後の損失を最小化することでメタ訓練を行い、タスク間でグローバル初期化を更新する。
• メタテスト時には新しいタスクのサポートセットでモデルを微調整し、そのクエリセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 メタ学習はラベル付きノードが少ないまま見知らぬクラスに対するGNNの迅速な適応を可能にするか？
• RQ2 グラフベースの少数ショットタスク間でMAML風の初期化はどの程度転移するか？
• RQ3 少数ショット設定でMeta-GNNは従来のGNNや埋め込みベースのベースラインに対してどのような性能向上を提供するか？

主な発見

• Meta-GNNは3つのベンチマークデータセット（Cora, Citeseer, Reddit）で少数ショット設定の下、最高の性能を達成。
• GNNベースのベースラインはMeta-GNNに敗れ、少数ショットの設定（1-shotと3-shot）で顕著な改善。
• 新クラスへの適応を特化して設計されていない誘導的GNNは新しいクラスへ一般化できない可能性がある一方、Meta-GNNはより転移可能なタスク適応表現を学習する。
• Meta-GNNは難しいデータセット（Reddit）で相対的な改善が大きい。タスクの多様性がタスク適応を促進するため。
• Meta-GNNバリアントの中ではMeta-SGCとMeta-GCNの性能は概ね同等だが、データセット依存の差がある一方、Meta-SGCはしばしば学習が速い。