[論文レビュー] Neural Bellman-Ford Networks: A General Graph Neural Network Framework for Link Prediction

Zhaocheng Zhu, Zuobai Zhang+2 more|arXiv (Cornell University)|Jun 13, 2021

Advanced Graph Neural Networks参考文献 75被引用数 112

ひとこと要約

NBFNet はリンク予測のための一般化ベルマン-フォード経路定式を学習するニューラルフレームワークであり、学習可能な Indicator、Message、Aggregate コンポーネントを使用することで、知識グラフと同質グラフの両方に対して、帰納的・解釈可能・スケーラブルな予測を可能にします。

ABSTRACT

Link prediction is a very fundamental task on graphs. Inspired by traditional path-based methods, in this paper we propose a general and flexible representation learning framework based on paths for link prediction. Specifically, we define the representation of a pair of nodes as the generalized sum of all path representations, with each path representation as the generalized product of the edge representations in the path. Motivated by the Bellman-Ford algorithm for solving the shortest path problem, we show that the proposed path formulation can be efficiently solved by the generalized Bellman-Ford algorithm. To further improve the capacity of the path formulation, we propose the Neural Bellman-Ford Network (NBFNet), a general graph neural network framework that solves the path formulation with learned operators in the generalized Bellman-Ford algorithm. The NBFNet parameterizes the generalized Bellman-Ford algorithm with 3 neural components, namely INDICATOR, MESSAGE and AGGREGATE functions, which corresponds to the boundary condition, multiplication operator, and summation operator respectively. The NBFNet is very general, covers many traditional path-based methods, and can be applied to both homogeneous graphs and multi-relational graphs (e.g., knowledge graphs) in both transductive and inductive settings. Experiments on both homogeneous graphs and knowledge graphs show that the proposed NBFNet outperforms existing methods by a large margin in both transductive and inductive settings, achieving new state-of-the-art results.

研究の動機と目的

• リンク予測のための一般的な経路ベース表現学習フレームワークを提案し、伝統的な経路指標の解釈可能性とニューラルネットワークの能力を組み合わせる。
• ペア表現が全ての経路の総和を取り、各経路表現は辺表現を掛け合わせる一般化された経路定式を定義する。
• Indicator、Message、Aggregate 関数を用いる一般化ベルマン-フォード解法のニューラルパラメータ化としての NBFNet を導入する。
• NBFNet が同質グラフおよび知識グラフにおける転写型・転导型の両方の設定で強力な性能を達成し、効率性と解釈性も競争力があることを実証する。

提案手法

• ノードペア h_q(u,v) を、uとvの間の全経路表現の一般化和として表現し、各経路は経路に沿った辺表現の一般化積として表す。
• 総和と乗算演算子を持つセミリングフレームワークの下で、一般化ベルマン-フォードアルゴリズムを用いて経路定式を効率的に解く。
• 一般化ベルマン-フォードアルゴリズムを、三つのニューラルコンポーネント Indicator（境界条件）、Message（乗算演算子）、Aggregate（総和演算子）でパラメータ化する。
• Edge 表現 w_q(x,r,v) は学習され、知識グラフ埋め込みの関係演算子に関連づけられることができる；このモデルは帰納的一般化をサポートする。
• 知識グラフのトリプレットと同質グラフの辺を評価するため、二値予測目的で負サンプリング（PCA）を用いて学習する。
• 三つ組ごとに amortized 推論時間を O(|E| d / |V| + d^2) に達成し、スケーラブルな予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 経路ベースの表現フレームワークは、伝統的な経路指標と現代のグラフニューラルネットワークをリンク予測のために捉え、統合することができるか？
• RQ2 学習可能なベルマン-フォードベースのアプローチを用いて、知識グラフと同質グラフの両方の帰納的・転導的設定で正確なリンク予測を行えるか？
• RQ3 ニューロナイズド演算子（Indicator、Message、Aggregate）は、経路ベース定式における人手で作成された演算子と比較して性能と解釈性を改善するか？

主な発見

• NBFNet はデータセットを横断する知識グラフ補完で最先端手法を大幅に凌駕し、最良の経路ベース手法と比較して HITS@1 の平均相対ゲインを顕著に達成する。
• 埋め込みベースの手法と比較して、NBFNet は substantial gains（例: HITS@1 の平均相対改善 18%）を達成しつつ、パラメータ数ははるかに少なく（FB15k-237の TransE は約 30M に対し約 3M）。
• 同質グラフのリンク予測で強力な結果を示し、CoraとPubMedでいくつかのベースラインを上回り、CiteSeer の稀疎性にもかかわらず競争力を維持。
• 帰納的関係予測では、すべての帰納分割で最高の結果を達成し、 GraIL など prior methods に比べ意味のある改善を得る（例: HITS@10 の相対的利益が平均で 22%）。
• アブレーション研究は、高度な edge 表現（RotatE、DistMult）と学習可能な Aggregate（PNA）で顕著な利得を示し、より深いアーキテクチャは最大 6 層付近で飽和するまで性能を向上させる。
• このフレームワークは、予測に寄与する上位経路を抽出することで経路レベルの解釈性を提供する。