[論文レビュー] How Powerful are K-hop Message Passing Graph Neural Networks

Jiarui Feng, Yixin Chen+3 more|arXiv (Cornell University)|May 26, 2022

Advanced Graph Neural Networks被引用数 37

ひとこと要約

本論文は K-hop メッセージパッシング GNN の表現力を理論的に分析し、2つのカーネルを区別し、それらが 1-WL を上回るが 3-WL によって制限されることを証明し、周辺部分グラフを用いた KP-GNN を提案して表現力を大幅に高め、実験で検証する。

ABSTRACT

The most popular design paradigm for Graph Neural Networks (GNNs) is 1-hop message passing -- aggregating information from 1-hop neighbors repeatedly. However, the expressive power of 1-hop message passing is bounded by the Weisfeiler-Lehman (1-WL) test. Recently, researchers extended 1-hop message passing to K-hop message passing by aggregating information from K-hop neighbors of nodes simultaneously. However, there is no work on analyzing the expressive power of K-hop message passing. In this work, we theoretically characterize the expressive power of K-hop message passing. Specifically, we first formally differentiate two different kernels of K-hop message passing which are often misused in previous works. We then characterize the expressive power of K-hop message passing by showing that it is more powerful than 1-WL and can distinguish almost all regular graphs. Despite the higher expressive power, we show that K-hop message passing still cannot distinguish some simple regular graphs and its expressive power is bounded by 3-WL. To further enhance its expressive power, we introduce a KP-GNN framework, which improves K-hop message passing by leveraging the peripheral subgraph information in each hop. We show that KP-GNN can distinguish many distance regular graphs which could not be distinguished by previous distance encoding or 3-WL methods. Experimental results verify the expressive power and effectiveness of KP-GNN. KP-GNN achieves competitive results across all benchmark datasets.

研究の動機と目的

• 2つの異なる K-hop 隣接カーネル（最短経路距離 vs グラフ拡散）を区別し、それらが表現力に及ぼす影響を明らかにする。
• K-hop メッセージパッシングの表現力を特徴づけ、1-WL および 3-WL の境界と比較する。
• K-hop MPNN を周辺サブグラフ情報で拡張する KP-GNN を提案する。
• 理論的保証と、シミュレーションおよび現実世界データセットに跨る実証的証拠を提供する。

提案手法

• 2つの K-hop 隣接カーネルを定義する：shortest-path-distance (spd) および graph-diffusion (gd)。
• 各ホップごとの MES/UPD と組み合わせステップを備えた K-hop メッセージパッシング框架を提示する（Equation (3)）。
• K>1 のとき、適切な K-hop GNN は1-hop GNN より厳密に強力であることを示す（Proposition 1）。
• 任意の適切な K-hop GNN の表現力が 3-WL によって有限であることを証明する（Theorem 2）。
• per-hop メッセージに周辺サブグラフ情報を付加して KP-GNN を導入する（Equations (4)-(5)）。
• 距離正則グラフにおける拡張表現力を実証し、実験結果を提供する（表と実験）。

実験結果

リサーチクエスチョン

• RQ1 K-hop メッセージパッシングはグラフの識別性の観点で1-WLとどのように異なるか。
• RQ2 K-hop GNN はほとんど全ての正則グラフを識別できるか、そして理論的限界は何か。
• RQ3 周辺サブグラフ情報を取り入れた KP-GNN は標準のK-hop GNN の 3-WL 制限を克服できるか。
• RQ4 KP-GNN の派生型は、合成データと実世界のベンチマークにおいて既存の GNN と比べてどう性能を示すか。

主な発見

• K>1 を持つ K-hop GNN は 1-hop GNN より厳密に強力であり、多くの正則グラフを識別できる。
• 1 層かつ控えめな K のとき、2-hop GNN は特定条件の下で n サイズ r-正則グラフのほぼ全てのペアを識別できる。
• 任意のカーネルに対して、適切な K-hop GNN の表現力は 3-WL によって制限される。
• 周辺サブグラフ情報を含む KP-GNN は、標準の K-hop GNN では識別できない距離正則グラフを区別する。
• 実証的結果は、複数のデータセットとタスクにおいて KP-GNN が競争力のあるまたは最先端の性能を達成することを示す。