[論文レビュー] Equivariant Subgraph Aggregation Networks

Beatrice Bevilacqua, Fabrizio Frasca+6 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks参考文献 75被引用数 13

ひとこと要約

本稿では、グラフを部分グラフの多重集合として表現し、同変アーキテクチャを用いて処理することで表現力を向上させる、新たなグラフニューラルネットワークフレームワークである等長部分グラフ集約ネットワーク（ESAN）を提案する。ESANは、1-WLベースエンコーダーを用いるだけで、3-WLテストで区別できないグラフを区別できるため、MPNNよりも理論的に強い表現力を示す。一方で、部分グラフのサンプリングと効率的な前処理により、計算複雑性を適切に維持する。

ABSTRACT

Message-passing neural networks (MPNNs) are the leading architecture for deep learning on graph-structured data, in large part due to their simplicity and scalability. Unfortunately, it was shown that these architectures are limited in their expressive power. This paper proposes a novel framework called Equivariant Subgraph Aggregation Networks (ESAN) to address this issue. Our main observation is that while two graphs may not be distinguishable by an MPNN, they often contain distinguishable subgraphs. Thus, we propose to represent each graph as a set of subgraphs derived by some predefined policy, and to process it using a suitable equivariant architecture. We develop novel variants of the 1-dimensional Weisfeiler-Leman (1-WL) test for graph isomorphism, and prove lower bounds on the expressiveness of ESAN in terms of these new WL variants. We further prove that our approach increases the expressive power of both MPNNs and more expressive architectures. Moreover, we provide theoretical results that describe how design choices such as the subgraph selection policy and equivariant neural architecture affect our architecture's expressive power. To deal with the increased computational cost, we propose a subgraph sampling scheme, which can be viewed as a stochastic version of our framework. A comprehensive set of experiments on real and synthetic datasets demonstrates that our framework improves the expressive power and overall performance of popular GNN architectures.

研究の動機と目的

• メッセージパッシングニューラルネットワーク（MPNN）の表現力に限界があること、特にワイズフェーラー＝レーマン（WL）テストと同等かそれ以下の表現力しか持たないことに対処すること。
• MPNNの限界と高階のWLベースアーキテクチャの限界を克服できる、理論的により表現力の高いGNNフレームワークを構築すること。
• 部分グラフレベルの表現を活用しつつ、グラフおよび集合の対称性に等長性を保つ柔軟でスケーラブルなアーキテクチャを設計すること。
• 部分グラフのサンプリングと効率的な前処理により計算コストを低減し、大規模グラフへの実用的導入を可能にすること。

提案手法

• ノード削除、エッジ削除、エゴネットワークなどの事前定義された選択ポリシーを用いて、各入力グラフを部分グラフの袋（多重集合）として表現する。
• 集合とグラフの対称性群の直積を尊重する等長ニューラルネットワークを構築し、部分グラフの置換および各部分グラフ内での自己同型変換に対して等長性を保証する。
• 各部分グラフを個別に符号化するシアンズ型GNNを用い、その後に集合レベルの演算により部分グラフ表現を統合する情報共有モジュールを適用する。
• 集約された部分グラフ特徴量から、下流タスク用の不変なグラフレベル表現を生成するために、集合学習モジュールを適用する。
• 計算コストを低減するため、確率的部品グラフサンプリング方式を導入し、大規模グラフにおけるスケーラブルな学習を可能にする。
• エッジ削除ではO(nm)、エゴネットワークポリシーではO(n(n+m))の複雑度で抑えられる、効率的な前処理を活用し、部分グラフ生成を高速化する。

実験結果

リサーチクエスチョン

• RQ1 ノードレベル特徴量の代わりに部分グラフレベル構造を符号化することで、MPNNよりも表現力の高いGNNフレームワークを構築できるか？
• RQ2 部分グラフ選択ポリシーの選定が、全体のアーキテクチャの表現力と計算効率にどのように影響を与えるか？
• RQ3 1-WLエンコーダーに基づくフレームワークが、3-WLテストの表現力を達成できるか、その場合の条件は何か？
• RQ4 部分グラフの袋の対称性群と、ネットワーク内での等長層の設計との間の理論的関係は何か？
• RQ5 部分グラフサンプリングをどのように活用すれば、大規模グラフ学習において計算コストを削減しつつ高い性能を維持できるか？

主な発見

• ESANは、1-WLベースエンコーダーのみを用いても、3-WLテストで区別できないグラフを区別できることを示し、表現力の理論的向上を明確に裏付けた。
• 標準的なMPNNおよびより強力なアーキテクチャ（例：PPGN）の両方の表現力を向上させることで、広範な適用可能性を示した。
• ノード削除およびエッジ削除ポリシーでは、ESANの時間計算量はO(n)であり、3-IGNや3-GNNを上回り、スパースな部分グラフサンプリング下でのみGSNと同等の性能を達成する。
• 空間計算量は、エッジ削除ポリシーではO(n²Δ_max)であり、DS-GNNを用いたオンライン部分グラフ埋め込み計算により、O(n + nΔ_max)に削減可能である。
• 前処理の計算量は、エッジ削除ではO(nm)、エゴネットワークではO(n(n+m))で抑えられ、従来のk準同型部分構造抽出法のO(n^k)と比べて顕著に低い。
• 実データおよび合成データセットにおける実験結果から、ESANが複数のベンチマークで性能向上を示し、理論的利点が実証された。