[論文レビュー] Pure Message Passing Can Estimate Common Neighbor for Link Prediction

Kaiwen Dong, Zhichun Guo+1 more|arXiv (Cornell University)|Sep 2, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、準直交ノードベクトルを活用することで、純粋なメッセージパッシングによるグラフニューラルネットワークが、リンク予測のための共通の隣接ノード（CN）特徴量を効果的に推定できることを示している。提案されたメッセージパッシングリンク予測モデル（MPLP）は、伝搬された準直交ベクトルの内積による結合的構造特徴量の近似によって、ベンチマークデータセット上で最先端の手法を上回る性能を達成した。

ABSTRACT

Message Passing Neural Networks (MPNNs) have emerged as the {\em de facto} standard in graph representation learning. However, when it comes to link prediction, they often struggle, surpassed by simple heuristics such as Common Neighbor (CN). This discrepancy stems from a fundamental limitation: while MPNNs excel in node-level representation, they stumble with encoding the joint structural features essential to link prediction, like CN. To bridge this gap, we posit that, by harnessing the orthogonality of input vectors, pure message-passing can indeed capture joint structural features. Specifically, we study the proficiency of MPNNs in approximating CN heuristics. Based on our findings, we introduce the Message Passing Link Predictor (MPLP), a novel link prediction model. MPLP taps into quasi-orthogonal vectors to estimate link-level structural features, all while preserving the node-level complexities. Moreover, our approach demonstrates that leveraging message-passing to capture structural features could offset MPNNs' expressiveness limitations at the expense of estimation variance. We conduct experiments on benchmark datasets from various domains, where our method consistently outperforms the baseline methods.

研究の動機と目的

• 純粋なメッセージパッシングGNNが、置換不変性を有するにもかかわらず、共通の隣接ノード（CN）のようなヒューリスティックなリンク予測特徴量を近似できるかどうかを調査すること。
• MPNNがリンク予測に重要な結合的構造特徴量（例：CN）を捉える能力に限界があるという問題を解決すること。
• 明示的なヒューリスティクスに依存せずに、メッセージパッシングを活用してCNに類似した特徴量を推定する新しいリンク予測モデルを開発すること。
• メッセージパッシングがベクトルの直交性と内積を通じてリンクレベルの構造的情報を符号化する新しいパラダイムを確立すること。
• 提案手法が既存のGNNベースおよびヒューリスティックなリンク予測モデルを実際に上回ることを実証的に検証すること。

提案手法

• 高次元空間におけるほぼ直交するベクトル族の指数的増加を利用し、ノードに準直交（QO）ベクトルを初期表現として割り当てる。
• 標準的なメッセージパッシングを用いてこれらのQOベクトルを伝搬し、各ノードが隣接ノードのベクトルを和集合によって集約する。
• メッセージパッシング後の最終的な隠れ表現同士の内積を、2つのノード間の共通の隣接ノード数の推定値として用いる。
• 理論的に、ノード表現の期待内積が共通の隣接ノード数を近似できることを示し、その分散がグラフ構造によって有界であることを保証する。
• 学習中に構造的特徴量の正確な推定を保証するため、正例リンクに対してショートカットエッジを除去する訓練戦略を導入する。
• 分布シフトを回避し一般化性能を向上させるために、修正された訓練手順を採用し、計算コストを犠牲にして性能を落とすが、計算コストを削減する変種（MPLP+）を提案する。

(a)

実験結果

リサーチクエスチョン

• RQ1 純粋なメッセージパッシングGNNは、明示的な設計がなくても、基本的なリンク予測特徴量である共通の隣接ノード（CN）ヒューリスティクスを近似できるか？
• RQ2 ノード表現の直交性が、CNのような結合的構造特徴量をメッセージパッシングネットワークがどれほど正確に捉えることができるか？
• RQ3 内積推定の分散は、特に密なグラフやハブを多く持つグラフにおいて、どのようにグラフ構造に依存するか？
• RQ4 メッセージパッシングモデルが、ベクトル演算のみでCNを推定することで、リンク予測において最先端の性能を達成できるか？
• RQ5 このようなメッセージパッシングフレームワークにおいて、訓練コストと推論精度の間にはどのようなトレードオフがあるか？

主な発見

• メッセージパッシング後のノード表現の期待内積は、真の共通の隣接ノード数を近似でき、分散には理論的バウンディングが存在する。
• 複数のベンチマークデータセットで最先端の性能を達成し、GNNベースラインおよびCNのようなヒューリスティック手法を一貫して上回った。
• 推定の分散は、密なグラフや高次元ハブを有するグラフにおいて増加し、構造的感度が顕著に現れた。
• 理論的および実証的成績にかかわらず、MPLPの訓練コストは推論コストに比べて著しく高いことが判明した。これは、学習中に動的グラフ構造が変化するためである。
• MPLP+は正例リンクをマスキングすることで訓練コストを削減したが、性能が最適でないことが示され、効率性と精度の間のトレードオフが確認された。
• 本研究は、純粋なメッセージパッシングがリンクレベルの構造的特徴量を符号化できることを確立し、MPNNが本質的にこのような能力を欠如しているという仮定に疑問を呈した。

(b)