[論文レビュー] Graph Convolutional Gaussian Processes For Link Prediction

Felix L. Opolka, Píetro Lió|arXiv (Cornell University)|Feb 11, 2020

Advanced Graph Neural Networks参考文献 31被引用数 8

ひとこと要約

この論文では、ノード特徴量と局所的なグラフ構造を簡略化されたグラフ畳み込みを用いて統合することで帰納的バイアスを強化する、リンク予測のためのグラフ畳み込みガウス過程（GCLGP）を提案する。この手法は、グラフ構造のドメインに適応した変分誘導点アプローチを採用し、8つのベンチマークグラフで最先端の性能を達成しており、ガウス過程ベースのベースラインやVGAEのようなGNNベースのモデルと比較して一貫した改善を示している。

ABSTRACT

Link prediction aims to reveal missing edges in a graph. We address this task with a Gaussian process that is transformed using simplified graph convolutions to better leverage the inductive bias of the domain. To scale the Gaussian process model to large graphs, we introduce a variational inducing point method that places pseudo inputs on a graph-structured domain. We evaluate our model on eight large graphs with up to thousands of nodes and report consistent improvements over existing Gaussian process models as well as competitive performance when compared to state-of-the-art graph neural network approaches.

研究の動機と目的

• ガウス過程とグラフ畳み込みの帰納的バイアスを組み合わせることで、大規模グラフにおけるリンク予測の課題に取り組む。
• 標準的なガウス過程が大規模グラフでは計算的に非現実的であるのを回避するため、スケーラブルな変分誘導点法を採用する。
• ベイズ推論を活用することで、過学習が深層学習モデルで一般的な問題を回避し、原則的かつ信頼性の高い不確実性推定と頑健な一般化を実現する。
• ノード特徴量と局所的近傍情報の両方を確率的枠組みで活用できるように、リンク予測のためのフレームワークを提供する。
• 誘導点をグラフ構造の誘導グラフ上に配置する、新しい変分誘導点法を開発し、スケーラビリティと性能の両方を向上させる。

提案手法

• 核関数に簡略化されたグラフ畳み込みを適用することで、ユークリッド空間上に定義された標準的なガウス過程を、グラフ畳み込みガウス過程に変換する。
• グラフ畳み込み演算における学習可能な近傍サイズを導入し、モデルが入力グラフ構造に自動的に適応できるようにする。
• ノードレベルのガウス過程とリンク予測用のカーネルを合成することで、ノードペair間のガウス過程を構築し、エンドツーエンドのリンク予測を可能にする。
• スケーラビリティを確保するため、連結でランダムに生成された誘導グラフのノード上に誘導点を配置した変分近似を適用する。
• 変分下界（ELBO）を最適化することでハイパーパramータと変分パラメータを最適化し、検証セットが不要なトレーニングと不確実性の定量化を可能にする。
• 隣接ノードの特徴を集約する微分可能グラフ畳み込みメカニズムを採用し、局所的な構造的パターンを捉える能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みの帰納的バイアスは、ガウス過程のリンク予測タスクにおける性能を向上させることができるか？
• RQ2 ガウス過程を大規模グラフにスケーリングする際、不確実性推定とベイズ的一般化を維持しながら実現可能か？
• RQ3 グラフ構造のドメインに配置された変分誘導点法は、標準的なユークリッド空間上の誘導点配置を上回る性能を発揮するか？
• RQ4 グラフ畳み込みガウス過程モデルは、VGAEのような最先端のGNNと比較して競争力のある性能を達成できるか？
• RQ5 グラフ畳み込みを用いて局所的近傍情報を統合することで、多様な実世界のグラフにおいてリンク予測の正確性がどの程度向上するか？

主な発見

• 提案されたGCLGPモデルは、8つのデータセットのうち6つで非畳み込みガウス過程（LGP）を上回り、RouterデータセットではAUCで最大10.0ポイントの改善を達成した。
• Routerデータセットでは、GCLGPがAUC 79.79 ± 3.62を達成し、VGAE（61.51 ± 1.22）とLGP（69.61 ± 1.33）を顕著に上回った。
• 平均精度（AP）において、GCLGPは8つのデータセットのうち4つでVGAEを上回り、残りの4つでは同等またはそれを上回った。これにより、優れたロバストネスを示した。
• E.coliデータセットでは、GCLGPがAP 95.02 ± 1.08を達成し、VGAE（92.77 ± 0.65）とLGP（93.99 ± 0.47）を上回った。
• GCLGPは、ほとんどのデータセットで非畳み込みLGPベースラインを一貫して上回り、局所的近傍情報の統合による利点を確認した。
• グラフ構造のドメインに配置された変分誘導点法により、数え千のノードを有するグラフに対しても効果的なスケーリングが可能となり、高精度を維持しながら、広範なハイパーパramータチューニングを必要としなかった。