[論文レビュー] Graph Meta Learning via Local Subgraphs

Kexin Huang, Marinka Žitnik|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 67被引用数 11

ひとこと要約

G-Metaは、ラベル付きノードやエッジが少ない新しいタスクへの高速適応を可能にする、局所的サブグラフを利用する新しいグラフメタラーニングフレームワークを提案する。サブグラフ単位のメタ勾配を通じて転送可能なインダクティブバイアスを学習することにより、7つのデータセットで既存手法を最大16.3%上回り、1,840個のグラフを含む大規模なグラフコレクションにもスケーラブルに拡張可能である。

ABSTRACT

Prevailing methods for graphs require abundant label and edge information for learning. When data for a new task are scarce, meta-learning can learn from prior experiences and form much-needed inductive biases for fast adaption to new tasks. Here, we introduce G-Meta, a novel meta-learning algorithm for graphs. G-Meta uses local subgraphs to transfer subgraph-specific information and learn transferable knowledge faster via meta gradients. G-Meta learns how to quickly adapt to a new task using only a handful of nodes or edges in the new task and does so by learning from data points in other graphs or related, albeit disjoint label sets. G-Meta is theoretically justified as we show that the evidence for a prediction can be found in the local subgraph surrounding the target node or edge. Experiments on seven datasets and nine baseline methods show that G-Meta outperforms existing methods by up to 16.3%. Unlike previous methods, G-Meta successfully learns in challenging, few-shot learning settings that require generalization to completely new graphs and never-before-seen labels. Finally, G-Meta scales to large graphs, which we demonstrate on a new Tree-of-Life dataset comprising of 1,840 graphs, a two-orders of magnitude increase in the number of graphs used in prior work.

研究の動機と目的

• 生物学的ネットワークなど、実世界の応用において特に顕著なラベル付きノードやエッジが少ない状況における少サンプルグラフ学習の課題に対処すること。
• 完全グラフ表現に依存する既存のGNNベースのメタラーニング手法が、新しいグラフや未確認のラベルに一般化できないという制限を克服すること。
• 異なるラベルセットを持つ非交差グラフ間でのメタラーニングを可能にし、これまでにないタスクや構造への一般化を支援すること。
• 例えば、1,840個の生物学的PPIグラフを含む新しいTree-of-Lifeデータセットのような大規模グラフデータセットで効率的に動作するスケーラブルなアプローチを開発すること。
• 予測に有効な局所的サブグラフの証拠を活用する理論的裏付けのある手法を提供し、インダクティブバイアスと構造的類似性学習を向上させること。

提案手法

• ターゲットノードやエッジの周辺の微細な構造的情報を捉えるために、各ノードやエッジをその局所的サブグラフで表現する。
• これらの局所的サブグラフ上でGNNを訓練し、メタ勾配を介した高速適応を可能にする転送可能な表現を学習する。
• サブグラフ間の構造的類似性を比較するためのメトリクス学習アルゴリズムを用い、少サンプル一般化に強い強いインダクティブバイアスを形成する。
• 局所的サブグラフ内で特徴伝搬とラベルスムージングを適用し、予測のロバスト性と一般化性能を向上させる。
• 異なるラベルセットや構造を持つグラフ間での転送を可能にする、サブグラフレベルで動作するメタラーニングフレームワークを設計する。
• サブグラフ表現が局所的構造的差異に敏感であることを保証するため、Weisfeiler-Lehmanグラフ同型性テストへの接続を活用する。

実験結果

リサーチクエスチョン

• RQ1 局所的サブグラフは、特に少サンプル条件下において、グラフ構造データにおけるメタラーニングの有効な表現として機能するか？
• RQ2 完全グラフメタラーニングと比較して、サブグラフレベルのメタラーニングは、新しいグラフや未確認のラベルへの一般化においてどのように異なるか？
• RQ3 G-Metaは、モデルオルガニズムからヒトへのPPIネットワークにおけるように、異なるラベルセットを持つ非交差グラフ間で知識を効果的に転送できるか？
• RQ4 G-Metaは、1,840個の生物学的PPIグラフのコレクションのような大規模グラフデータセットにおいて、どの程度スケーラブルか？
• RQ5 グローバルグラフ表現と比較して、局所的サブグラフからの学習は、インダクティブバイアスと予測性能を向上させるか？

主な発見

• G-Metaは7つのデータセットで9つのベースライン手法を上回り、ノード分類タスクにおいて最大16.3%のパフォーマンス向上を達成した。
• G-Metaは、新しいグラフやこれまでにないラベルに一般化できることを示したが、これは既存手法が少サンプル設定で達成できない能力である。
• この手法は、1,840個のグラフを含む新しいTree-of-Lifeデータセットを用いて、大規模なグラフコレクションに対しても効果的にスケーリングできることを実証した。これは、先行研究の2桁以上多い規模である。
• 局所的サブグラフ表現は、より良い構造的類似性学習を可能にし、インダクティブバイアスの向上と少サンプル一般化の強化に寄与した。
• 理論的分析により、予測の証拠はターゲットノードやエッジの周囲の局所的サブグラフに存在することが確認され、サブグラフベースのアプローチの妥当性が裏付けられた。
• G-Metaは、局所的近傍内での効果的なラベル伝搬と特徴スムージングを可能にし、モデルのロバスト性と精度を向上させた。