Skip to main content
QUICK REVIEW

[論文レビュー] Neural Common Neighbor with Completion for Link Prediction

Xiyuan Wang, Haotong Yang|arXiv (Cornell University)|Feb 2, 2023
Complex Network Analysis TechniquesPhysics and Astronomy被引用数 11
ひとこと要約

NCNはMPNNを介して学習可能なペアワイズ特徴を導入し、共通隣人を捉えることでリンク予測を改善し、NCNCはグラフの不完全性を緩和するための補完とターゲットリンクの削除を追加し、最先端の結果を達成します。

ABSTRACT

In this work, we propose a novel link prediction model and further boost it by studying graph incompleteness. First, we introduce MPNN-then-SF, an innovative architecture leveraging structural feature (SF) to guide MPNN's representation pooling, with its implementation, namely Neural Common Neighbor (NCN). NCN exhibits superior expressiveness and scalability compared with existing models, which can be classified into two categories: SF-then-MPNN, augmenting MPNN's input with SF, and SF-and-MPNN, decoupling SF and MPNN. Second, we investigate the impact of graph incompleteness -- the phenomenon that some links are unobserved in the input graph -- on SF, like the common neighbor. Through dataset visualization, we observe that incompleteness reduces common neighbors and induces distribution shifts, significantly affecting model performance. To address this issue, we propose to use a link prediction model to complete the common neighbor structure. Combining this method with NCN, we propose Neural Common Neighbor with Completion (NCNC). NCN and NCNC outperform recent strong baselines by large margins, and NCNC further surpasses state-of-the-art models in standard link prediction benchmarks. Our code is available at https://github.com/GraphPKU/NeuralCommonNeighbor.

研究の動機と目的

  • vanilla MPNNベースの手法に欠けているペアワー関係を捉えることでリンク予測を改善する動機づけ。
  • 学習可能なペアワイズ特徴をMPNNから導出する Neural Common Neighbor (NCN) を導入。
  • Common Neighbor Completion (CNC) と Target Link Removal (TLR) の2つの介入でグラフの不完全性に対処。
  • NCNとCNCを組み合わせ、反復的な補完を含む可能性がある Neural Common Neighbor with Completion (NCNC) を提案。
  • GAEと同程度のスケーラビリティを維持しつつ、複数のベンチマークで最先端の性能を示す。

提案手法

  • ペアワイズ特徴をヒューリスティックや従来のGNNベースのアプローチを包含する一般的なフレームワークとして定義する。
  • 固定の次数ベースのペアワイズ関数をNCNの定式化で学習可能なMPNNベースの抽出器に置換する:NCN(i,j,A,X)= sum over u in N(i)∩N(j) of MPNN(u,A,X)。
  • 明示的な高次の隣人はMPNNによって暗黙的に学習された情報のため、NCNに与える寄与は小さいと主張する。
  • CNベースの信号に対するグラフの不完全性とその影響を研究し、2つの介入を導入する:Common Neighbor Completion (CNC) と Target Link Removal (TLR)。
  • NCNCはCNCをNCNと組み合わせ、NCNで予測される確率を用いて潜在的な共通隣人を重み付けし、オプションとして反復的なグラフ補完(NCNC-K)を追加する。
  • 第一オーダーの隣接を維持し、集合演算子としてintersectionを使用することでスケーラブルな推論を提供する。NCN/NCNCの実行時間はGAEと同程度で、ベースラインを上回る。
(a)
(a)

実験結果

リサーチクエスチョン

  • RQ1ターゲットノード間のペアワイズ関係を手作業で設計するのではなく学習可能なものとして学習することでリンク予測を改善できるか。
  • RQ2固定のペアワイズ特徴をMPNNベースの学習可能な表現に置換すると性能とスケーラビリティは改善されるか。
  • RQ3グラフの不完全性はリンク予測にどう影響し、介入はそれを緩和できるか。
  • RQ4共通隣人補完とターゲットリンク削除は実データセットでNCNベースのモデルを改善するか。
  • RQ5NCN/NCNCの標準的なリンク予測データセットでの実証的性能と、ベースラインと比較したスケーラビリティはどうか。

主な発見

  • NCNは複数のベンチマークで既存モデルを上回り、競合ベースラインに対して顕著な向上を示す。
  • NCNCはさらに性能を向上させ、報告されたすべてのデータセットで最先端の結果を達成し、特にogbl-ppaで顕著な gains を得ている。
  • アブレーション研究では、学習可能なペアワイズ特徴 (NCN) が手作業特徴 (GAE+CN, Neo-GNN, BUDDY) を上回ることを複数データセットで示している。
  • 不完全性は分布シフトと共通隣人情報の喪失を引き起こす;CNCとTLRはこれらの影響を効果的に緩和し、追加の利得を生む。
  • NCN/NCNCはGAEと同程度の時間計算量でスケーラビリティを維持し、大規模バッチではSEALよりはるかに高速である;NCNC-1はほとんどのデータセットで十分である。
(b)
(b)

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。