[論文レビュー] On the Expressive Power of Geometric Graph Neural Networks

Chaitanya K. Joshi, Cristian Bodnar+3 more|arXiv (Cornell University)|Jan 23, 2023

Computational Drug Discovery Methods被引用数 24

ひとこと要約

この論文は、物理対称性の下で幾何学的GNNの表現力を特徴づける幾何学的 Weisfeiler-Leman (GWL) テストを導入し、不変/共変層、高次テンソル、およびスカラー化が幾何学的グラフの識別にどのように影響するかを分析します。

ABSTRACT

The expressive power of Graph Neural Networks (GNNs) has been studied extensively through the Weisfeiler-Leman (WL) graph isomorphism test. However, standard GNNs and the WL framework are inapplicable for geometric graphs embedded in Euclidean space, such as biomolecules, materials, and other physical systems. In this work, we propose a geometric version of the WL test (GWL) for discriminating geometric graphs while respecting the underlying physical symmetries: permutations, rotation, reflection, and translation. We use GWL to characterise the expressive power of geometric GNNs that are invariant or equivariant to physical symmetries in terms of distinguishing geometric graphs. GWL unpacks how key design choices influence geometric GNN expressivity: (1) Invariant layers have limited expressivity as they cannot distinguish one-hop identical geometric graphs; (2) Equivariant layers distinguish a larger class of graphs by propagating geometric information beyond local neighbourhoods; (3) Higher order tensors and scalarisation enable maximally powerful geometric GNNs; and (4) GWL's discrimination-based perspective is equivalent to universal approximation. Synthetic experiments supplementing our results are available at \url{https://github.com/chaitjo/geometric-gnn-dojo}

研究の動機と目的

• 物理的対称性の下でユークリッド空間に埋め込まれた幾何学的グラフの表現力を研究する必要性を動機づける。
• パーミュテーション、回転、反転、平行移動を尊重しつつ geometric WL テスト (GWL) の幾何学的変種を開発する。
• 幾何学的 GNN の設計選択（不変層 vs 共変層、高次テンソル、スカラー化）が表現力に与える影響を特徴づける。
• GWLによる識別と幾何学的 GNN の普遍近似の同値性を示す。
• 理論的知見を支持する合成実験を提供する。

提案手法

• 置換、回転、反転、平行移動対称性を課すとともに、幾何学的グラフを識別するよう GWL を定義する。
• 不変層を分析し、1ホップの同一の幾何学的グラフを識別する能力が限定的であることを示す。
• 共変層が局所的近傍を超えて幾何情報を伝播し、表現力を高めることを示す。
• 高次テンソルとスカラー化を取り入れて最大の表現力を達成する。
• GWL による識別の観点が幾何学的 GNN の普遍近似と同値であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 物理的対称性に対して不変な GNN は、対称性を尊重する WL テストと同様の効果的な識別力を持つことができるか。
• RQ2 不変層と共変層は、幾何学的グラフの識別能力を比較するとどうなるか。
• RQ3 高次テンソルとスカラー化は、幾何学的 GNN の表現力を最大化するうえでどのような役割を果たすか。
• RQ4 GWL に基づく識別の視点は、幾何学的 GNN の普遍近似と同値か。

主な発見

• 不変層は表現力が限られており、特定の1ホップ同一の幾何学的グラフを識別できない。
• 共変層は局所的近傍を超えて幾何情報を伝播することにより、より大きなクラスのグラフを識別する。
• 高次テンソルとスカラー化により、最大の力を持つ幾何学的表現力を持つ GNN を可能にする。
• GWL の識別ベースの見方は、幾何学的 GNN の普遍近似と整合している。
• 合成実験が理論的結果を補足する。