[論文レビュー] Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction

Seongjun Yun, Seoyoon Kim+3 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Graph Neural Networks被引用数 47

ひとこと要約

Neo-GNNs は隣接行列から構造的特徴を学習し、リンク予測のための重なり合う近傍を推定し、特徴ベースの GNNs と適応的に組み合わせることで、OGB データセットで最先端の成績を達成します。

ABSTRACT

Graph Neural Networks (GNNs) have been widely applied to various fields for learning over graph-structured data. They have shown significant improvements over traditional heuristic methods in various tasks such as node classification and graph classification. However, since GNNs heavily rely on smoothed node features rather than graph structure, they often show poor performance than simple heuristic methods in link prediction where the structural information, e.g., overlapped neighborhoods, degrees, and shortest paths, is crucial. To address this limitation, we propose Neighborhood Overlap-aware Graph Neural Networks (Neo-GNNs) that learn useful structural features from an adjacency matrix and estimate overlapped neighborhoods for link prediction. Our Neo-GNNs generalize neighborhood overlap-based heuristic methods and handle overlapped multi-hop neighborhoods. Our extensive experiments on Open Graph Benchmark datasets (OGB) demonstrate that Neo-GNNs consistently achieve state-of-the-art performance in link prediction. Our code is publicly available at https://github.com/seongjunyun/Neo_GNNs.

研究の動機と目的

• 特徴を平滑化した GNN に頼るだけでなく、構造認識を伴うリンク予測の必要性を動機づける。
• 隣接行列から構造的特徴を学習し、重なり合う近傍をモデル化する Neo-GNNs を導入する。
• 多-hop 近傍に対する重なり認識型集約機構を開発する。
• 構造的（Neo-GNN）スコアと従来の特徴ベース GNN スコアをエンドツーエンドの枠組みで適応的に組み合わせることを可能にする。
• OGB の4つのリンク予測データセットで最先端の性能を示す。

提案手法

• 構造的特徴生成器 F_theta は、ノードとエッジ用の2つの MLP を用いて隣接行列からノードの構造的特徴を学習する（式6）。
• 近傍重複認識集約は、x_struct から対角行列 X_struct を構築し、Z = A X_struct を計算して重なりのある隣接情報を捉える（式7および式8）。
• 式9 とともに Z = g_Phi(sum_{l=1}^L beta^{l-1} A^l X_struct) により多段階の近傍にも拡張する。
• 構造スコアに基づく予測を特徴ベース GNN スコアと、学習可能な alpha を介して組み合わせる: y_hat_{ij} = alpha * sigma(z_i^T z_j) + (1 - alpha) * sigma(s(h_i, h_j))（式11）。
• Neo-GNN、構造スコア、および特徴ベース GNN スコアの3つの BCE 損失でエンドツーエンドに学習する（式12）。
• 疎行列表現と A^l 项の事前計算によりスケーラブルな計算を提供する（3.3 の計算量の議論）。

実験結果

リサーチクエスチョン

• RQ1 隣接行列から構造的特徴を学習することは、ノード特徴に依存する従来のGNNを超えたリンク予測の改善につながるか？
• RQ2 多-hop 重なりを含む近傍の重なりを、リンク予測のための GNN にどのように効果的に組み込むことができるか？
• RQ3 構造スコアと特徴ベース GNN スコアを適応的に組み合わせることは、多様なデータセットで優れた性能をもたらすか？
• RQ4 Neo-GNNs は近傍重なりヒューリスティクス（Common Neighbors、Adamic Adar、Resource Allocation）をどれほど一般化できるか？

主な発見

Method	OGB-Ppa	OGB-Collab	OGB-Ddi	OGB-Citation2
Common Neighbors	27.65±0.00	50.06±0.00	17.73±0.00	76.20±0.00
Adamic Adar	32.45±0.00	53.00±0.00	18.61±0.00	76.12±0.00
Resource Allocation	49.33±0.00	52.89±0.00	6.23±0.00	76.20±0.00
Matrix Factorization	27.83±2.02	38.74±0.30	17.92±3.57	53.08±4.19
Node2Vec	17.24±0.76	41.36±0.69	21.95±1.58	53.47±0.12
MLP	0.47±0.05	19.98±0.96	N/A	28.99±0.16
GCN	16.98±1.33	47.01±0.79	44.60±8.87	84.79±0.24
GraphSAGE	13.93±2.38	48.60±0.46	48.01±9.02	82.64±0.01
JK-Net	11.40±2.04	48.84±0.83	57.98±6.88	OOM
GAT	OOM	44.89±1.23	29.51±6.40	OOM
SEAL	48.15±4.17	54.37±0.02	26.25±6.00	86.32±0.52
Neo-GNN	49.13±0.60	57.52±0.37	63.57±3.52	87.26±0.84

• Neo-GNNs はリンク予測の4つの OGB データセットで一貫して最先端の性能を達成している。
• w/o GCN の Neo-GNNs はほとんどのデータセットでベースライン GNN を上回り、構造情報の価値を示している。
• 適応的結合 alpha はデータセット固有の構造信号と特徴信号のバランスを可能にし、単独の成分よりも性能を向上させることが多い。
• 多-hop の重なり近傍（L > 1）によって性能が向上し、β の減衰因子が遠いホップからの寄与を制御する。
• Neo-GNNs は近傍重なりのヒューリスティクスを回復・整合させることができ、OGB-PPA で Resource Allocation、Adamic Adar、Common Neighbors とのスピarman 相関が高いことを示している。
• Neo-GNNs は入力ノード特徴なしでも最高結果を達成することがあり、構造認識学習の強さを示している。