[論文レビュー] Generative Graph Neural Networks for Link Prediction

Xingping Xian, Tom Wu+6 more|arXiv (Cornell University)|Dec 31, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、グラフの再構成によってグローバルで高次の構造的パターンを活用する、リンク予測のための新規生成的グラフニューラルネットワーク「GraphLP」を提案する。この手法は、ベンチマークデータセット全体で判別型部分グラフ分類手法を上回り、ヒューリスティックな部分グラフ特徴量設計を一切行わずに、エンドツーエンドで構造的表現を学習する点で従来手法とは異なり、AUCおよびAPスコアで最先端の性能を達成した。

ABSTRACT

Inferring missing links or detecting spurious ones based on observed graphs, known as link prediction, is a long-standing challenge in graph data analysis. With the recent advances in deep learning, graph neural networks have been used for link prediction and have achieved state-of-the-art performance. Nevertheless, existing methods developed for this purpose are typically discriminative, computing features of local subgraphs around two neighboring nodes and predicting potential links between them from the perspective of subgraph classification. In this formalism, the selection of enclosing subgraphs and heuristic structural features for subgraph classification significantly affects the performance of the methods. To overcome this limitation, this paper proposes a novel and radically different link prediction algorithm based on the network reconstruction theory, called GraphLP. Instead of sampling positive and negative links and heuristically computing the features of their enclosing subgraphs, GraphLP utilizes the feature learning ability of deep-learning models to automatically extract the structural patterns of graphs for link prediction under the assumption that real-world graphs are not locally isolated. Moreover, GraphLP explores high-order connectivity patterns to utilize the hierarchical organizational structures of graphs for link prediction. Our experimental results on all common benchmark datasets from different applications demonstrate that the proposed method consistently outperforms other state-of-the-art methods. Unlike the discriminative neural network models used for link prediction, GraphLP is generative, which provides a new paradigm for neural-network-based link prediction.

研究の動機と目的

• 手動で設計された部分グラフ特徴量と局所的サブグラフサンプリングに依存する判別型リンク予測手法の限界を是正すること。
• 階層的でグローバルな構造的パターンを学習することで、欠落または誤検出されたリンクを推論するため、グラフ構造を再構成する生成的フレームワークの開発。
• 既存のGNNベースのリンク予測モデルで見られるkホップ囲い込みサブグラフ選択やヒューリスティック特徴量に依存する問題を克服すること。
• 高次の接続パターンと階層的グラフ組織の有効性が、リンク予測性能の向上に寄与する程度を調査すること。
• 部分グラフ分類に基づく判別型モデルとは異なる、生成的ディープラーニングを用いたリンク予測の新たなパラダイムを提供すること。

提案手法

• GraphLPは、ネットワーク再構築理論に基づく生成的学習フレームワークを採用しており、モデルは摂動を加えたバージョンから元のグラフを再構築するように学習する。
• 多層パーセプトロン（MLP）を用いて、局所的およびグローバルな構造的特徴を統合し、多段階の接続パターンを適応的に融合する。
• 全グラフの構造的組織を活用することで、欠落リンクと誤検出リンクを同時に予測する共同推論メカニズムを採用する。
• 高次の接続性は、再帰的なモジュール型およびスターリンク構造を捉える階層的構造的パターン計算メカニズムによってモデル化される。
• 訓練目的関数は再構築損失とリンク予測損失を組み合わせており、両者をバランスさせるための調整ハイパーパrameter λ を用いる。
• 過学習を防ぐために訓練中にドロップアウトを適用し、適応的学習率を用いたバックプロパゲーションで最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 グローバルで高次の構造的パターンを学習することで、生成的GNNフレームワークが、ヒューリスティックな部分グラフ特徴量を用いない判別型部分グラフ分類手法を上回ることができるか？
• RQ2 階層的および多段階の構造的特徴量の統合が、局所的サブグラフベースの手法と比較して、リンク予測性能をどのように向上させるか？
• RQ3 モデルは、さまざまなレベルのグラフ摂動や構造的ノイズに対してどれほど頑健であるか？
• RQ4 モデルの性能は、深さや調整ハイパーパrameter λ といったハイパーパrameterにどれほど敏感か？
• RQ5 生成的再構築アプローチにより、多様な実世界のグラフタイプにわたる一般化性能が向上するか？

主な発見

• GraphLPは、すべてのベンチマークデータセットで最先端の性能を達成し、古典的手法および最近のSOTA判別型GNNと比較して、AUCおよびAP指標で一貫して優れた結果を示した。
• モデルの性能は深さが増すにつれて著しく向上し、3層でピークに達するが、4層目で過学習が発生するため、一般化性能に最適な深さが3層であると示された。
• 20%のリンク摂動に対してもモデルは頑健であり、140エポックで欠落リンクの尤度スコアが0.5を超える一方、誤検出リンクのスコアは0.3未満に保たれた。
• ほとんどのデータセットにおいて、調整ハイパーパラメータ λ に敏感ではなく、特にAPスコアでは異なる λ 値に対しても安定した性能を維持した。
• 収束は約200エポックで達成され、検証損失と指標が安定化し、ドロップアウト正則化の効果により検証損失が訓練損失よりも低く保たれた。
• 回復されたグラフトポロジーの可視化から、GraphLPが摂動下でも構造的整合性を効果的に回復できることを確認し、生成的能力が妥当であることが裏付けられた。