[論文レビュー] Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries

Fabrizio Frasca, Beatrice Bevilacqua+2 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Graph Neural Networks被引用数 21

ひとこと要約

この論文は refined symmetry group を通じて node-based Subgraph GNN を分析し、3-WL の上界を証明し、 ReIGN(2) を結合レイヤ空間として導入し、 SUN を提案してベンチマーク上で従来モデルを上回ることを示します。

ABSTRACT

Subgraph GNNs are a recent class of expressive Graph Neural Networks (GNNs) which model graphs as collections of subgraphs. So far, the design space of possible Subgraph GNN architectures as well as their basic theoretical properties are still largely unexplored. In this paper, we study the most prominent form of subgraph methods, which employs node-based subgraph selection policies such as ego-networks or node marking and deletion. We address two central questions: (1) What is the upper-bound of the expressive power of these methods? and (2) What is the family of equivariant message passing layers on these sets of subgraphs?. Our first step in answering these questions is a novel symmetry analysis which shows that modelling the symmetries of node-based subgraph collections requires a significantly smaller symmetry group than the one adopted in previous works. This analysis is then used to establish a link between Subgraph GNNs and Invariant Graph Networks (IGNs). We answer the questions above by first bounding the expressive power of subgraph methods by 3-WL, and then proposing a general family of message-passing layers for subgraph methods that generalises all previous node-based Subgraph GNNs. Finally, we design a novel Subgraph GNN dubbed SUN, which theoretically unifies previous architectures while providing better empirical performance on multiple benchmarks.

研究の動機と目的

• refined symmetry group の下でノードベース Subgraph GNN の表現力を特徴づける。
• Subgraph GNN を Invariant Graph Networks (IGNs) に関連づけ、その力を 3-WL で境界づける。
• 既存手法を包含する一般的で扱いやすいレイヤ空間 (ReIGN(2)) を提案する。
• SUN (Subgraph Union Network) を結合性が高く、より表現力のあるアーキテクチャとして導入する。
• 標準ベンチマークで SUN の実証的改善を示す。

提案手法

• ノードベースの部分グラフコレクションは、ノードと部分グラフを共同で作用する単一の S_n 対称性によって支配されることを実現分析する。
• 既存のノードベース Subgraph GNN は 3-IGN により実装可能で、表現力を 3-WL によって境界づけられる。
• ローカル集約とグローバル集約操作を備えた拡張された 2-IGN フレームワーク ReIGN(2) を開発し、従来の Subgraph GNN レイヤを復元・一般化する。
• SUN を ReIGN(2) の具体的実装として示し、従来のアーキテクチャを統合し新規演算子を含む。
• SUN のスタックが既知の Subgraph GNN レイヤを実装できることを証明し、SUN を実用的でより表現力のある代替として位置づける。

実験結果

リサーチクエスチョン

• RQ1 ノードベース選択ポリシーを用いたノードベース Subgraph GNN の上界表現力はどの程度か？
• RQ2 ノードベースの部分グラフ袋の対称性は等価性層をどのように制約し、 IGN ベースの形式はどのように役立つか？
• RQ3 一般的で扱いやすいレイヤ空間 (ReIGN(2)) は既存の Subgraph GNN を捉え拡張できるか？
• RQ4 SUN アーキテクチャは従来法を統合し、ベンチマークデータセットで実証的性能を向上させるか？

主な発見

方法	Counting Substructures (MAE ↓) - Triangle	Counting Substructures (MAE ↓) - Tailed Tri	Counting Substructures (MAE ↓) - Star	Counting Substructures (MAE ↓) - 4-Cycle	ZINC (MAE ↓)
GCN	0.4186	0.3248	0.1798	0.2822	0.321 ± 0.009
GIN	0.3569	0.2373	0.0224	0.2185	0.163 ± 0.004
PNA	0.3532	0.2648	0.1278	0.2430	0.133 ± 0.011
PPGN	0.0089	0.0096	0.0148	0.0090	0. - -
GNN-AK	0.0934	0.0751	0.0168	0.0726	0.105 ± 0.010
GNN-AK-ctx	0.0885	0.0696	0.0162	0.0668	0.093 ± 0.002
GNN-AK+	0.0123	0.0112	0.0150	0.0126	0.086 ± ?
SUN (EGO)	0.0092	0.0105	0.0064	0.0140	0.083 ± 0.003
SUN (EGO+)	0.0079	0.0080	0.0064	0.0105	0.084 ± 0.002

• ノードベースの部分グラフ方針は単一の置換群 S_n によって支配され、従来の二系統対称性モデルを洗練させ、3-IGNs に整列する。
• 既知のノードベース Subgraph GNN の表現力は 3-WL によって境界づけられ、3-IGN によって実装可能である。
• ReIGN(2) はすべての既存のノードベース Subgraph GNN を復元し新しい操作を可能にする、取り回しの良い表現力のあるレイヤ空間を提供する。
• SUN (Subgraph Union Network) は ReIGN(2) 内で従来手法を一般化し、ベンチマークでの実証性能を改善する。
• 命題は SUN レイヤが ReIGN(2) のスタックによって実装可能であり、SUN が既存の Subgraph GNN レイヤを包含することを示す。