[論文レビュー] Shortest Path Networks for Graph Property Prediction

Ralph Abboud, Radoslav Dimitrov+1 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、短い経路近傍を介してノード表現を伝達する、メッセージパッシングニューラルネットワーク（MPNN）の一般化である最短経路メッセージパッシングニューラルネットワーク（SP-MPNN）を提案する。この手法は、直接の隣接ノードではなく最短経路に基づく近傍を介して情報伝達を行うことで、情報ボトルネックや過剰圧縮（over-squashing）を軽減する。フレームワークは、QM9などのグラフ特性予測ベンチマークで最先端の性能を達成しており、最短経路を介した構造的かつ非冗長なメッセージ集約により、より表現力があり包括的なノード表現を可能にする。

ABSTRACT

Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Our framework generalizes message passing neural networks, resulting in a class of more expressive models, including some recent state-of-the-art models. We verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the art results.

研究の動機と目的

• 従来のメッセージパッシングGNNにおける情報ボトルネックと過剰圧縮の問題に寄与する長距離依存性の学習制限を解消すること。
• 隣接しないノード間の直接的通信を可能にするMPNNの一般化を構築すること、その際短い経路近傍を用いる。
• 提案されたフレームワークの表現力と論理的特徴付けを、MPNNや他のGNNと比較して形式的に分析すること。
• 実験的に、モデルが過剰圧縮を軽減できることおよび、実世界のグラフ特性予測タスクで最先端の性能を達成できることを検証すること。

提案手法

• ノード状態が、長さiの最短経路で到達可能なノード（i-hop最短経路近傍）からのメッセージを集約することで更新される、新しいメッセージパッシングパラダイムを提案。
• 各ホップレベル（1 ≤ i ≤ k）ごとに別々にメッセージを処理する多ホップ集約機構を導入し、互いに重複のない近傍を保証することで冗長性を回避。
• 複数ホップ離れたノード間の直接的通信を可能にするフレームワークを設計し、逐次的な情報圧縮ボトルネックを解消。
• 学習可能な集約関数と残差接続を用いるシンプルで効果的なインスタンス、すなわち最短経路ネットワーク（SPN）を設計。
• 最短経路距離を構造的インダクティブバイアスとして採用し、完全なペairwise注意機構や高次隣接行列の累乗を用いずに、グローバルなグラフ構造を捉える能力を向上。
• グラフ分類および回帰タスクにこのフレームワークを適用し、合成データセットを用いて過剰圧縮の低減と一般化性能の向上を検証。

実験結果

リサーチクエスチョン

• RQ1 最短経路近傍を介したメッセージ集約を行うフレームワークは、標準的なMPNNよりも長距離依存性をより良く捉えることができるか？
• RQ2 提案されたSP-MPNNフレームワークは、MPNNよりも高い表現力を持つと評価できるか、特にMPNNが区別できないグラフを区別できるか？
• RQ3 従来のMPNNと比較して、最短経路近傍の使用が過剰圧縮をどの程度軽減するか？
• RQ4 アーキテクチャの複雑さを増さずに、実世界のグラフ特性予測ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案された最短経路ネットワーク（SPN）は、QM9のグラフ回帰ベンチマークで最先端の性能を達成し、Graphormerを含む先行モデルを複数の特性で上回った。
• QM9において、k=10のR-SPNはT=8層でG特性の平均絶対誤差（MAE）が0.83にまで低下し、k=1モデルを著しく上回った。
• モデルは深さに強く、T=4からT=8に層を増加させた際、k=10では誤差がわずか8.6%増加したのに対し、k=1では36.3%も減少した。これは収束が速く、過剰圧縮が少ないことを示唆している。
• SP-MPNNはMPNNより厳密に表現力が高く、1-WLテストや最短経路グラフカーネルで区別可能な任意のグラフペアを区別可能である。
• 合成実験により、SPNが過剰圧縮を軽減することが確認された。ハイパーパramータチューニングなしでも、k>1の高ホップ近傍はk=1よりも顕著に高い性能を示した。
• 論理的特徴付けの結果、SP-MPNNはMPNNよりも広い関数クラスを捉えることができ、表現力の向上を裏付けた。