[論文レビュー] Path Neural Networks: Expressive and Accurate Graph Neural Networks

Gaspard Michel, Giannis Nikolentzos+2 more|arXiv (Cornell University)|Jun 9, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文では、再帰層を用いて単一の最短経路、すべての最短経路、および長さKまでのすべての単純経路といった経路の表現を集約することで表現力を向上させる、新しいグラフニューラルネットワーク「Path Neural Networks (PathNNs)」を提案する。著者らは、2つの変種が1次元Weisfeiler-Leman (1-WL)アルゴリズムを上回る表現力を有することを理論的に証明し、合成および実世界のグラフデータセット上で実証的に検証した。その結果、グラフ分類および回帰タスクにおいて、最先端のモデルを上回る性能を達成した。

ABSTRACT

Graph neural networks (GNNs) have recently become the standard approach for learning with graph-structured data. Prior work has shed light into their potential, but also their limitations. Unfortunately, it was shown that standard GNNs are limited in their expressive power. These models are no more powerful than the 1-dimensional Weisfeiler-Leman (1-WL) algorithm in terms of distinguishing non-isomorphic graphs. In this paper, we propose Path Neural Networks (PathNNs), a model that updates node representations by aggregating paths emanating from nodes. We derive three different variants of the PathNN model that aggregate single shortest paths, all shortest paths and all simple paths of length up to K. We prove that two of these variants are strictly more powerful than the 1-WL algorithm, and we experimentally validate our theoretical results. We find that PathNNs can distinguish pairs of non-isomorphic graphs that are indistinguishable by 1-WL, while our most expressive PathNN variant can even distinguish between 3-WL indistinguishable graphs. The different PathNN variants are also evaluated on graph classification and graph regression datasets, where in most cases, they outperform the baseline methods.

研究の動機と目的

• 標準的なメッセージパッシングGNNの表現力に限界があること、特に非同型のグラフを区別する能力が1-WLアルゴリズムと同等にとどまることを解決する。
• 1-WLを超えるグラフの区別能力を持つが、多項式時間で計算可能なGNNアーキテクチャを構築すること。
• 単一の最短経路、すべての最短経路、および長さKまでのすべての単純経路といった異なる経路サブセットに基づいた、PathNNの複数の変種を設計・評価すること。
• 理論的および実証的に、PathNNが1-WLを上回る表現力を有すること、および実世界のグラフ学習ベンチマークで最先端の性能を達成することを示すこと。

提案手法

• PathNNsは、各ノードから発する経路の符号化された表現を集約することでノード表現を計算し、再帰層を用いて各経路をベクトルに符号化する。
• 3つの変種を提案：PathNN-SP（単一の最短経路）、PathNN-AP（すべての最短経路）、PathNN-AP*（長さKまでのすべての単純経路）。
• 各経路は再帰ニューラルネットワーク（RNN）で符号化され、その出力は微分可能なプーリング機構を介して集約され、最終的なノード表現が形成される。
• グラフ分類および回帰タスクのための標準的なGNN最適化目的関数を用いて、モデルはエンドツーエンドで訓練される。
• 理論的分析により、PathNN-APおよびPathNN-AP*は1-WLよりも厳密に表現力が高く、1-WLでは区別できないグラフを区別できることを示した。
• 経路計算は、多項式時間で解けるサブセットに制限されている：最短経路（Dijkstraのアルゴリズム）および長さ制限付き単純経路（動的計画法による）。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける経路ベースの集約は、非同型のグラフを区別する能力において1-WLアルゴリズムを上回ることができるか？
• RQ2 最短経路やすべての単純経路といった、どの経路サブセットが、計算可能性を保ちながら最も表現力が高いGNN変種を生み出すか？
• RQ3 既存のSOTA GNNと比較して、PathNNは実世界のグラフ学習ベンチマークで最先端の性能を達成するか？
• RQ4 長距離依存関係を効果的にモデル化でき、グラフ分類および回帰タスクでの性能向上が見られるか？

主な発見

• 理論的に証明されたように、PathNN-AP（すべての最短経路）およびPathNN-AP*（長さKまでのすべての単純経路）の2つのPathNN変種は、1-WLを厳密に上回る表現力を有する。
• 合成データセットでは、1-WLでは区別できない非同型のグラフをPathNNsが正しく区別でき、一部の3-WLでも区別できないグラフに対しても同様の結果を示した。
• Peptides-Functionalデータセットでは、PathNN-SP+がGCNに対して平均適合率で8.86%の絶対的向上を達成した。Peptides-Structuralデータセットでは、GatedGCNに対して平均絶対誤差が8.80%改善された。
• ogbg-molhivグラフ分類ベンチマークでは、PathNN-SP+がROC-AUCスコア79.17%を達成し、テストされたすべての手法の中で3位となった。
• ZINC12Kグラフ回帰データセットでは、PathNN-APが平均絶対誤差0.090 ± 0.004を達成し、CIN や Graphormer を含むすべてのベースラインを上回った。
• 最も表現力が高いPathNN-AP*は、ogbg-molhivではPathNN-SP+よりもわずかに低い性能を示したが、表現力と最適化安定性のトレードオフが示された。