[論文レビュー] OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs

Yangze Zhou, Gitta Kutyniok+1 more|arXiv (Cornell University)|May 30, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本論文は、より大きなテストグラフにおける分布外（OOD）リンク予測のためのメッセージパッシングGNNの理論的分析を初めて行った。標準的なGNNは、テストグラフが拡大するにつれて置換同変なノード埋め込みでランダムな予測に収束することを証明しているが、連続的で構造に敏感な表現を学習することで、より大きなグラフに一般化できる予測性能を維持する、新しいペアワイズ埋め込みアーキテクチャを提案している。

ABSTRACT

This work provides the first theoretical study on the ability of graph Message Passing Neural Networks (gMPNNs) -- such as Graph Neural Networks (GNNs) -- to perform inductive out-of-distribution (OOD) link prediction tasks, where deployment (test) graph sizes are larger than training graphs. We first prove non-asymptotic bounds showing that link predictors based on permutation-equivariant (structural) node embeddings obtained by gMPNNs can converge to a random guess as test graphs get larger. We then propose a theoretically-sound gMPNN that outputs structural pairwise (2-node) embeddings and prove non-asymptotic bounds showing that, as test graphs grow, these embeddings converge to embeddings of a continuous function that retains its ability to predict links OOD. Empirical results on random graphs show agreement with our theoretical results.

研究の動機と目的

• 訓練グラフよりもはるかに大きなテストグラフにおける、メッセージパッシングGNNの一般化能力を理論的に分析すること。
• 訓練グラフとは大きく異なる、より大きな未観測のグラフに展開された場合に、GNNにおける置換同変なノード埋め込みが予測性能を維持できるかどうかを調査すること。
• より大きなテストグラフに一般化できる、構造的ペアワイズ（2ノード）埋め込みに基づく新しいGNNアーキテクチャを提案し、理論的に裏付けられること。
• OOD設定下でのノード埋め込みおよびペアワイズ埋め込みベースのGNNの一般化誤差に対して、非漸近的バウンドを確立すること。

提案手法

• 非漸近的バウンドを証明し、標準的なgMPNNのノード埋め込みが、テストグラフサイズが増加するにつれて、構造的対称性のためランダムな予測に収束することを示している。
• 個々のノード埋め込みではなく、ノードペアの構造的ペアワイズ埋め込みを出力する、新しいgMPNNアーキテクチャを提案している。
• 理論的分析により、これらのペアワイズ埋め込みが、OOD一般化下でもリンク予測能力を保持する連続関数に収束することを示している。
• メッセージパッシングおよびリードアウト関数の安定性解析とリプシッツ定数を用いて、ペアワイズ埋め込みモデルの一般化誤差に対する非漸近的バウンドを導出している。
• 一般化性能をバウンドするために、トレーニンググラフの性質（リプシッツ定数および最小次数$d_{\text{cmin}}$）に依存する項に誤差を分解している。
• ランダムグラフ上で理論的発見を実証的に検証し、理論と観測された性能の整合性を示している。

実験結果

リサーチクエスチョン

• RQ1 標準的なメッセージパッシングGNNは、置換同変なノード埋め込みを用いて、より大きな分布外のテストグラフに一般化できるか？
• RQ2 なぜ標準的なGNNは、訓練グラフよりもはるかに大きなテストグラフにおいてOODリンク予測に失敗するのか？
• RQ3 ペアワイズノード埋め込みを備えた変更されたGNNアーキテクチャは、OOD設定でも予測能力を維持できるか？
• RQ4 OODリンク予測タスクにおけるGNNの一般化誤差に対して、どのような理論的バウンドを確立できるか？
• RQ5 グラフサイズと構造的対称性は、OODリンク予測におけるGNNの性能にどのように影響するか？

主な発見

• 置換同変なノード埋め込みを備えた標準的なgMPNNは、テストグラフサイズが増加するにつれて、構造的対称性の増大によりランダムな予測に収束する。
• 提案されたペアワイズ埋め込みgMPNNアーキテクチャは、連続的で構造に敏感な表現を学習することで、より大きなグラフに一般化し、OODで予測能力を維持する。
• 非漸近的バウンドにより、ペアワイズ埋め込みモデルの一般化誤差が$\mathcal{O}(\sqrt{\log N^\text{te}} / \sqrt{N^\text{te}})$のオーダーで減少することが示され、安定した予測関数への収束を示している。
• 理論的バウンドは、メッセージパッシングおよびリードアウト関数のリプシッツ定数や最小次数$d_{\text{cmin}}$といったトレーニンググラフの性質に依存する。
• ランダムグラフ上での実証的結果により、理論的予測と一致し、標準GNNはOODで性能が低下するが、提案されたペアワイズモデルは性能を維持することが確認された。
• 分析により、小さなグラフにおけるグラフ非対称性への依存が、大きなグラフでは同型ノードが増加するため、ノード埋め込みに基づく手法の性能を損なうことが明らかになった。