[論文レビュー] Meta-Graph: Few Shot Link Prediction via Meta Learning

Avishek Joey Bose, Ankit Kumar Jain+2 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Graph Neural Networks参考文献 41被引用数 30

ひとこと要約

Meta-Graphは、GNNの初期化を条件づける学習可能なグラフシグネเจอチャラクタリスティクスを用いて、複数のスパースグラフにまたがる少サンプルリンク予測のための勾配ベースのメタラーニングフレームワークを導入する。最小限のトレーニングエッジで高速な適応とより良い収束を可能にすることで、ベースラインより平均5.3%のAUC向上を達成する。

ABSTRACT

We consider the task of few shot link prediction on graphs. The goal is to learn from a distribution over graphs so that a model is able to quickly infer missing edges in a new graph after a small amount of training. We show that current link prediction methods are generally ill-equipped to handle this task. They cannot effectively transfer learned knowledge from one graph to another and are unable to effectively learn from sparse samples of edges. To address this challenge, we introduce a new gradient-based meta learning framework, Meta-Graph. Our framework leverages higher-order gradients along with a learned graph signature function that conditionally generates a graph neural network initialization. Using a novel set of few shot link prediction benchmarks, we show that Meta-Graph can learn to quickly adapt to a new graph using only a small sample of true edges, enabling not only fast adaptation but also improved results at convergence.

研究の動機と目的

• 各グラフに真のエッジのわずかな割合しか含まれないマルチグラフ設定におけるリンク予測の課題に対処すること。
• 関連するグラフ間での知識移譲を活用することで、低データ環境における高速な適応と収束の向上を実現すること。
• 同じドメインからの多様なスパースグラフに一般化可能なメタラーニングフレームワークの開発。
• グラフ構造に基づいてGNNの初期化を条件づけるグラフシグネチャー関数の導入。
• 実世界を模したグラフ分布を用いた少サンプルリンク予測のベンチマークの確立。

提案手法

• 勾配ベースのメタラーニング（MAMLスタイル）をグラフドメインに適応し、グラフ分布全体にわたってGNNの共有初期化を学習する。
• 各入力グラフの構造的性質を符号化する学習可能なグラフシグネチャー関数を導入し、GNN初期化を条件づける。
• 新しいスパースグラフにおける高速適応が可能になるように、グローバル初期化を高階数勾配で最適化する。
• 各タスクがスパースグラフ内の欠落エッジの予測を含む、グラフの分布上でエンドツーエンドにモデルを訓練する。
• 少数の正例エッジのみを用いて、各新しいグラフで微調整されるGNNベースのリンク予測器を採用する。
• 生物学的または社会的ネットワークなど、異なるドメインからのスパースグラフを含む、革新的なベンチマークスイートを活用して少サンプル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 各グラフにわずかな数の真のエッジしか存在しない状況で、メタラーニングがリンク予測性能を向上させられるか？
• RQ2 グラフ構造に基づいて条件づけられた共有GNN初期化は、新しいスパースグラフへの高速かつ高精度な適応を可能にするか？
• RQ3 Meta-Graphは、スパースグラフにおける収束速度と最終的性能の面で、標準GNNや非メタラーニングベースラインと比べてどのように差をつけるか？
• RQ4 グラフシグネチャー関数は、グラフ間の構造的差を効果的に捉えて適応性を向上させているか？
• RQ5 生物学的または社会的ネットワークなど、同じドメインからの多様なグラフタイプに、このフレームワークは一般化可能か？

主な発見

• Meta-Graphは、3つのベンチマークで非メタラーニングベースラインと比較して、収束時に平均5.3%高いAUCを達成する。
• モデルは、少数の正例エッジのみで、新しいスパースグラフへの高速な適応を示す。
• グラフシグネチャー関数は、グラフ固有の初期化を可能にすることで、性能を顕著に向上させ、固定またはランダム初期化戦略を上回る。
• Meta-Graphは、タンパク質-タンパク質相互作用ネットワークや引用グラフなど、同じドメインからの多様なグラフタイプにうまく一般化する。
• 特に低データ環境において、収束速度と最終的精度の両面で強力なベースラインを上回る。
• 実験結果は、高階数勾配を用いたメタラーニングが、少サンプルリンク予測タスクにおけるより良い一般化を可能にすることを確認している。