[論文レビュー] Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting

Giorgos Bouritsas, Fabrizio Frasca+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Graph Neural Networks参考文献 117被引用数 25

ひとこと要約

本稿では、メッセージパッシングGNNアーキテクチャとして、部分グラフ同型写像の数を集約関数に組み込むことで表現力を向上させるGraph Substructure Networks (GSN)を提案する。部分構造カウントによる構造的不変量の符号化により、GSNはWeisfeiler-Leman (WL) テストを上回る表現力を持つ一方で、局所性と線形計算量を維持し、分子および社会的ネットワークのベンチマークで最先端の性能を達成する。

ABSTRACT

While Graph Neural Networks (GNNs) have achieved remarkable results in a variety of applications, recent studies exposed important shortcomings in their ability to capture the structure of the underlying graph. It has been shown that the expressive power of standard GNNs is bounded by the Weisfeiler-Leman (WL) graph isomorphism test, from which they inherit proven limitations such as the inability to detect and count graph substructures. On the other hand, there is significant empirical evidence, e.g. in network science and bioinformatics, that substructures are often intimately related to downstream tasks. To this end, we propose "Graph Substructure Networks" (GSN), a topologically-aware message passing scheme based on substructure encoding. We theoretically analyse the expressive power of our architecture, showing that it is strictly more expressive than the WL test, and provide sufficient conditions for universality. Importantly, we do not attempt to adhere to the WL hierarchy; this allows us to retain multiple attractive properties of standard GNNs such as locality and linear network complexity, while being able to disambiguate even hard instances of graph isomorphism. We perform an extensive experimental evaluation on graph classification and regression tasks and obtain state-of-the-art results in diverse real-world settings including molecular graphs and social networks. The code is publicly available at https://github.com/gbouritsas/graph-substructure-networks.

研究の動機と目的

• 標準的なGNNの表現力に限界があること、特にWeisfeiler-Leman (WL) テストによって制限され、特定の非同型グラフを区別できないことに対処する。
• GNNが生物情報学、化学、ネットワーク科学において重要な部分構造を検出・カウントできるようにしつつ、グラフ同型写像に不変性を保つこと。
• 部分構造カウントから得られる構造的インダクティブバイアスを用いて、局所的対称性を破るメッセージパッシングフレームワークを構築すること。
• 標準的なGNNよりも高い表現力を得つつも、計算効率と局所性を維持すること。
• 実世界のグラフ分類および回帰タスク、特に分子ネットワークおよび社会的ネットワークを含む、実験的妥当性を検証すること。

提案手法

• 本手法は、各ノードまたはエッジの周囲の同型部分グラフ（例：サイクル、グラフレット）の数を数えることで、メッセージパッシングに部分構造符号化を追加するGraph Substructure Networks (GSN)を導入する。
• 各隣接ノードに対して、メッセージは部分構造カウントの学習可能な関数によって重み付けされる。これは頂点中心（GSN-v）またはエッジ中心（GSN-e）のいずれかの形式を取る。
• 集約には方向性を持つ平均演算子を用い、注意係数は部分構造カウントから導出される。GSN-eでは α_v,u = |x^E_v,u| / (ε + Σ_u |x^E_v,u|)、GSN-vでは α_v,u = |x^V_v - x^V_u| / (ε + Σ_u |x^V_v - x^V_u|) となる。
• 頂点表現は、集約されたメッセージに対して多層パーセプトロン（MLP）を適用することで更新され、標準的なGNNのメッセージパッシング構造を保ちつつ、構造的不変性を追加する。
• モデルは標準的な最適化手法を用いてエンドツーエンドで訓練され、部分構造タイプ（例：長さ3〜12のサイクル）は検証性能に基づくハイパーパramータサーチによって選択される。
• 公平な評価のため、幅と深さをGSNと一致させた、構造的識別子を用いたDeepSetsベースラインを比較対象として用いる。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシングに部分構造カウントを組み込むことで、GNNがWeisfeiler-Lemanテストを上回る表現力を得られるか？
• RQ2 部分構造符号化により、強正則グラフのような困難なグラフ同型写像のケースを区別できるか？
• RQ3 部分構造に基づくインダクティブバイアスは、計算複雑性を増加させることなく、実世界のグラフ学習タスクの性能を向上させられるか？
• RQ4 サイクルやグラフレットなどの部分構造の選択が、異なるデータセットにおけるモデル性能にどのように影響するか？
• RQ5 部分構造カウントによる構造的不変量の組み込みは、同型写像不変性を保ちつつ、より良い一般化を可能にするか？

主な発見

• GSNは ogbg-molhiv および ZINC データセットで最先端の性能を達成し、6-頂点サイクルグラフレットを用いた GSN-e が最良の検証 ROC-AUC を達成した。
• TUDatasetsベンチマークでは、標準的なGNNやベースラインモデルを上回った。特に MUTAG および Proteins では、幅や深さを減らした小さなGSNバージョンが、過学習が少ないため、より大きなモデルよりも優れた性能を示した。
• モデルの表現力は、標準的なGNNおよびWLテストを厳密に上回っており、WLテストが区別できない非同型グラフを区別できる。
• 構造的識別子を備えたDeepSetsベースラインは、MUTAGおよびProteinsで最先端の結果を達成しており、構造的特徴そのものが強力であることを示唆しているが、GSNはそれらをメッセージパッシングに統合することでさらに性能を向上させた。
• アブレーションスタディの結果、検証性能に基づく部分構造の選択が極めて重要であり、ogbg-molhivでは長さ6のサイクルに基づくグラフレットが最適な結果をもたらした。
• モデルは線形計算量と局所性を維持しており、WL階層に従う高次のGNNとは異なり、実世界のグラフに対してスケーラブルで実用的である。