[論文レビュー] Can Graph Neural Networks Count Substructures?

Zhengdao Chen, Lei Chen+2 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Graph Neural Networks参考文献 81被引用数 29

ひとこと要約

本稿は、属性付き部分構造の数え上げという観点から、グラフニューラルネットワーク（GNN）の表現力について調査している。誘導部分グラフの数え上げ（induced-subgraph-count）と部分グラフの数え上げ（subgraph-count）の区別を行う。メッセージパッシングニューラルネットワーク（MPNN）と2-Weisfeiler-Lehman（2-WL）ネットワークが、3個以上のノードを持つ連結パターンの誘導部分グラフを数え上げられないことを証明しているが、星型の部分グラフは数え上げられる。著者らは、部分構造の数え上げに効果的に対応する新規アーキテクチャであるローカル関係プーリング（LRP）を提案し、分子予測ベンチマークで競争力ある性能を達成している。

ABSTRACT

The ability to detect and count certain substructures in graphs is important for solving many tasks on graph-structured data, especially in the contexts of computational chemistry and biology as well as social network analysis. Inspired by this, we propose to study the expressive power of graph neural networks (GNNs) via their ability to count attributed graph substructures, extending recent works that examine their power in graph isomorphism testing and function approximation. We distinguish between two types of substructure counting: induced-subgraph-count and subgraph-count, and establish both positive and negative answers for popular GNN architectures. Specifically, we prove that Message Passing Neural Networks (MPNNs), 2-Weisfeiler-Lehman (2-WL) and 2-Invariant Graph Networks (2-IGNs) cannot perform induced-subgraph-count of substructures consisting of 3 or more nodes, while they can perform subgraph-count of star-shaped substructures. As an intermediary step, we prove that 2-WL and 2-IGNs are equivalent in distinguishing non-isomorphic graphs, partly answering an open problem raised in Maron et al. (2019). We also prove positive results for k-WL and k-IGNs as well as negative results for k-WL with a finite number of iterations. We then conduct experiments that support the theoretical results for MPNNs and 2-IGNs. Moreover, motivated by substructure counting and inspired by Murphy et al. (2019), we propose the Local Relational Pooling model and demonstrate that it is not only effective for substructure counting but also able to achieve competitive performance on molecular prediction tasks.

研究の動機と目的

• 化学および生物学分野の実世界の応用に密接に関連する、属性付き部分構造の数え上げというタスクを通じて、GNNの表現力を理解すること。
• GNNアーキテクチャの誘導部分グラフ数え上げ能力と部分グラフ数え上げ能力を形式的に区別すること。
• MPNNや2-IGNといった一般的なGNNが、複雑な部分構造の数え上げにおいて根本的な制限を抱えていることの同定。
• 部分構造数え上げに着想を得た新規アーキテクチャ、ローカル関係プーリング（LRP）の提案により、これらの制限を克服すること。
• 理論的知見を分子グラフベンチマークにおける実験により検証すること。

提案手法

• MPNNと2-WLが識別できない非同型グラフのペアを構築するグラフ構築技術を用いた理論的分析を行い、それらが誘導部分グラフ数え上げにおいて異なるが、MPNNや2-WLでは区別できないことを示した。
• 本稿では、ノードおよびエッジ特徴を考慮した状態での2種類の部分構造数え上げ（誘導部分グラフ数え上げと部分グラフ数え上げ）を形式化した。
• 2-WLと2-IGNが非同型グラフを区別する能力において等価であることを証明し、文献における未解決問題に部分的な答えを与えた。
• 局所的サブグラフパターン上でメッセージパッシングを実行し、関係特徴をアグリゲートする、新規GNNアーキテクチャであるローカル関係プーリング（LRP）を提案した。
• LRPは、サブ構造数え上げを符号化するために、N2P（ノードからパターン）、E2P（エッジからパターン）、Ppl（パターン上でのプーリング）の演算を用いた。
• ogbg-molhiv、QM9、ZINCデータセットを用いた実験を行い、標準的な分割と評価指標を用い、早期停止と学習率スケジューリングを用いてLRPモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 MPNNと2-WL GNNは、3個以上のノードを持つ連結パターンの誘導部分グラフを数え上げることができるか？
• RQ2 MPNNと2-IGNは、星型パターンの部分グラフを数え上げることができるか？
• RQ3 k-WLとk-IGNアーキテクチャは、より大きなパターンに対し部分構造数え上げが可能か？
• RQ4 部分構造を効果的に数え上げられ、分子予測タスクに一般化可能なGNNアーキテクチャを設計できるか？
• RQ5 提案されたローカル関係プーリング（LRP）モデルの実験的性能は、既存のGNNと比較してどうか？

主な発見

• MPNNと2-IGNは、3個以上のノードを持つ任意の連結パターンの誘導部分グラフを数え上げることができない。これは、異なる誘導部分グラフ数を持つが、MPNNや2-WLでは区別できない非同型グラフペアを構築することで証明された。
• MPNNと2-IGNは、星型パターンの部分グラフを効果的に数え上げることができ、ノードおよびエッジ特徴を含む一般化された結果にまで拡張された。
• 2-WLと2-IGNは非同型グラフを区別する能力において等価であり、文献における未解決問題に対して部分的な答えを提供した。
• k-WLとk-IGNアーキテクチャは、より大きなパターンの部分構造数え上げが可能であるが、有限回の反復では、k-WLは普遍的な部分グラフ数え上げを達成できない。
• 提案されたローカル関係プーリング（LRP）モデルは、ogbg-molhivおよびZINCベンチマークで競争力ある性能を達成した。特に、Deep LRP-7-1はZINCで0.223のMAEを達成し、同程度のパラメータ数を持つベースラインを上回った。
• 20エポックで訓練されたLRP-1-3（ES）は、100エポックバージョンよりも優れた一般化性能を示しており、スケルトン分割データにおいて早期停止が過学習を緩和していることを示唆している。