[論文レビュー] Revisiting Link Prediction: A Data Perspective

Haitao Mao, Juanhui Li+7 more|arXiv (Cornell University)|Oct 1, 2023

Computational Drug Discovery Methods被引用数 4

ひとこと要約

本稿は、データ中心の視点からリンク予測を再評価し、局所的構造的近接性、グローバル構造的近接性、特徴近接性の3つの要因の相互作用がモデル性能を決定することを特定した。Graph Neural Networks for Link Prediction (GNN4LP) は、リンク形成が特徴近接性によって駆動される場合、局所的構造的近接性と本質的な不適合性を示すため、性能が劣ることが明らかになった。これにより、より良いモデル選定および開発のための新たな設計原則とベンチマーク指針が得られた。

ABSTRACT

Link prediction, a fundamental task on graphs, has proven indispensable in various applications, e.g., friend recommendation, protein analysis, and drug interaction prediction. However, since datasets span a multitude of domains, they could have distinct underlying mechanisms of link formation. Evidence in existing literature underscores the absence of a universally best algorithm suitable for all datasets. In this paper, we endeavor to explore principles of link prediction across diverse datasets from a data-centric perspective. We recognize three fundamental factors critical to link prediction: local structural proximity, global structural proximity, and feature proximity. We then unearth relationships among those factors where (i) global structural proximity only shows effectiveness when local structural proximity is deficient. (ii) The incompatibility can be found between feature and structural proximity. Such incompatibility leads to GNNs for Link Prediction (GNN4LP) consistently underperforming on edges where the feature proximity factor dominates. Inspired by these new insights from a data perspective, we offer practical instruction for GNN4LP model design and guidelines for selecting appropriate benchmark datasets for more comprehensive evaluations.

研究の動機と目的

• 異なるデータセットにおいて、いかなるGNN4LPモデルも普遍的に他のモデルを上回る理由を調査すること。
• モデルアーキテクチャを越えてリンク予測性能に影響を与える根本的なデータ要因を同定すること。
• 局所的、グローバル、特徴近接性要因の間の関係および潜在的な不適合性を分析すること。
• データ特性に基づいて、GNN4LPモデル設計およびベンチマークデータセット選定のための実行可能なガイドラインを提供すること。
• より深いGNNや複雑なアーキテクチャがリンク予測を普遍的に改善すると仮定するのを挑戦し、データ駆動型設計原則を強調すること。

提案手法

• 局所的構造的近接性（例：共通の隣接ノード）、グローバル構造的近接性（例：ランダムウォークベースの指標）、特徴近接性（例：ノード特徴の類似性）の3つのコアなデータ要因を特定する。
• 潜在空間モデルを用いて、同定されたデータ要因がリンク予測においてなぜ有効であるかを理論的に正当化する。
• 潜在空間モデルを用いて3要因の関係を分析し、特徴近接性と局所的構造的近接性の間には根本的な不適合性が存在することを明らかにする。
• 早期停止と固定されたハイパーパramータ範囲を用いた標準化されたトレーニング・評価プロトコルに従い、OGBおよびPlanetoidの多様なデータセットで実証的評価を実施する。
• ヒューリスティック手法（CN, AA, RA）、GNN（GCN, GraphSAGE）、および専用のGNN4LPモデル（SEAL, BUDDY, NCNC, NeoGNN）を一貫した設定で比較する。
• 特にSEAL や BUDDY のような計算コストの高いモデルについては、公表済みの最適設定に基づいてハイパーパramータを調整し、公平性を確保する。

(a) pubmed

実験結果

リサーチクエスチョン

• RQ1 局所的、グローバル、特徴近接性要因が、多様なデータセット全体でリンク予測性能にどのように統合的に影響を与えるか？
• RQ2 グローバル構造的近接性と局所的構造的近接性の関係は、モデル効果性を決定づけるか？
• RQ3 なぜGNN4LPモデルは、特徴近接性が支配的であるエッジにおいて一貫して性能が劣るのか？
• RQ4 特徴近接性と局所的構造的近接性の不適合性が、データセット間での性能差の根本的原因であるとすれば、その程度はどの程度か？
• RQ5 データ中心の知見は、より強固なGNN4LPモデルの設計および包括的なベンチマークデータセット選定をどのように支援できるか？

主な発見

• グローバル構造的近接性は、局所的構造的近接性が不十分な場合にのみ性能を向上させる。これは、両者の間にある条件付き依存関係を示している。
• 特徴近接性と局所的構造的近接性の間に根本的な不適合性が存在する：両者において高い類似性を示すエッジはまれであり、その結果、GNN4LPモデルは特徴駆動のリンクでは性能が劣る。
• ogbl-ppaデータセットでは、NCNCが62.64 ± 0.79 Hits@100を達成し、GCN（29.57 ± 2.90）およびGraphSAGE（41.02 ± 1.94）を顕著に上回った。これは、特徴が豊富で共通ノードが多いエッジにおいて優れた性能を示している。
• ノード特徴が欠落している ogbl-ddi では、NCNCが70.23 ± 12.11 Hits@100を達成し、GCN（49.90 ± 7.23）およびGraphSAGE（49.84 ± 15.56）を上回った。これは、特徴なしの環境でも構造的パターンの重要性を示している。
• ogbl-ppaではMLPベースラインが0.45 ± 0.04 Hits@100を達成しており、特徴のみからでは最小限の予測能力があることを示している。一方、NCNCはこの環境でも構造的パターンを効果的に活用している。
• どのモデルもすべてのデータセットで一貫して優位に立つことはなく、Cora や Citeseer ではGCNが他を上回った。一方、ogbl-ppa および ogbl-ddi ではNCNCが優れた性能を示した。これは、データに応じたモデル選定の必要性を強調している。

(b) ogbl-collab