[論文レビュー] A Theory of Link Prediction via Relational Weisfeiler-Leman on Knowledge Graphs

Xingyue Huang, Miguel Romero Orth+2 more|arXiv (Cornell University)|Feb 4, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿は、知識グラフにおけるリンク予測のための条件付きメッセージパッシングニューラルネットワーク（C-MPNNs）を導入する。C-MPNNsは、ソースノードとクエリ関係を条件として、ペアワイズなノード表現を計算する。本稿はC-MPNNsと関係的Weisfeiler-Lemanアルゴリズムとの間の理論的関連を確立し、両者の表現力が一致することを証明する。また、グローバルリーダウト関数がグローバルなグラフ構造を捉えるために不可欠であることを示し、局所構造が同一の合成データセットで100%の正確性を達成する実験的検証によって裏付けられる。

ABSTRACT

Graph neural networks are prominent models for representation learning over graph-structured data. While the capabilities and limitations of these models are well-understood for simple graphs, our understanding remains incomplete in the context of knowledge graphs. Our goal is to provide a systematic understanding of the landscape of graph neural networks for knowledge graphs pertaining to the prominent task of link prediction. Our analysis entails a unifying perspective on seemingly unrelated models and unlocks a series of other models. The expressive power of various models is characterized via a corresponding relational Weisfeiler-Leman algorithm. This analysis is extended to provide a precise logical characterization of the class of functions captured by a class of graph neural networks. The theoretical findings presented in this paper explain the benefits of some widely employed practical design choices, which are validated empirically.

研究の動機と目的

• 知識グラフにおけるグラフニューラルネットワークの体系的かつ理論的な理解を提供すること、特にリンク予測タスクに焦点を当てる。
• 異なるリンク予測モデルを、条件付きメッセージパッシングに基づく共通のフレームワークに統合すること。
• 関係的Weisfeiler-Lemanアルゴリズムと論理的記述形式を用いて、これらのモデルの表現力を特徴づけること。
• 理論的洞察を実験的に検証すること、特にグローバルリーダウト関数がグローバルなグラフ構造を捉える役割を果たすことを示すこと。
• NBFNetsのようなモデルの実験的成功を、提案されたフレームワーク内での表現力の高さに起因すると説明すること。

提案手法

• ソースノード u とクエリ関係 q を条件としてノード表現を条件づける条件付きメッセージパッシングニューラルネットワーク（C-MPNNs）を提案する。これにより、ペアワイズ表現学習が可能になる。
• C-MPNNsの表現力を特徴づけるために、知識グラフに特化した関係的Weisfeiler-Lemanアルゴリズムを導入する。
• グレーデッドモーダル論理の変種を用いてC-MPNNsの論理的特徴づけを定義し、その能力を明示的かつ記述的フォーマリズムとして提供する。
• グラフのペアがグローバル構造のみで異なる合成データセット（TRI-SQR）を用意し、モデルの挙動をテストする。
• グローバル和リーダウトの有無を比較する2つのモデルバージョンを用意し、グローバル情報へのアクセスの影響を分離する。
• モデルを4層、32の隠れ次元、学習率1e-4で構成し、500エポックにわたり学習させ、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフにおける多様なリンク予測モデルを、一つの理論的フレームワークに統合する方法は何か？
• RQ2 条件付きメッセージパッシングニューラルネットワークの表現力は何か？ そして、既存のグラフ同型性テストとどのように関係するか？
• RQ3 グローバルリーダウト関数のような特定の設計選択が、なぜモデル性能を顕著に向上させるのか？ そして、これを形式的に説明できるか？
• RQ4 NBFNetsのようなモデルの成功は、その表現力に起因すると言えるか？ そして、その表現力はより広範なモデルクラスに包含されるか？
• RQ5 グレーデッドモーダル論理のような論理的記述形式は、C-MPNNsが計算可能な関数をどの程度正確に特徴づけられるか？

主な発見

• グローバル和リーダウトを備えたC-MPNNsは、TRI-SQRデータセットで100%の正確性を達成し、三角形と正方形の構造的差を正しく識別した。
• グローバルリーダウトを備えないC-MPNNsは50%の正確性にとどまり、局所表現が同一のグラフを区別できないため、ランダム推測と同等であった。
• C-MPNNsの表現力は、提案された関係的Weisfeiler-Lemanアルゴリズムと一致し、モデル比較の理論的基盤を確立した。
• 本フレームワークは、NBFNetsの優れた実験的性能が、高い表現力に起因することを説明している。この表現力は、他のC-MPNNの例にも共有されている。
• グローバルリーダウト関数は、ノード総数のようなグローバルなグラフ特性を捉えるために不可欠であり、それらはさもなければ区別不能なグラフ構造を区別するために必要となる。
• グレーデッドモーダル論理による論理的特徴づけは、C-MPNNsの形式的で記述的な同等物を提供し、その表現能力を正確に分析可能にする。