[論文レビュー] Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results

Behrooz Tahmasebi, Lim, Derek+1 more|arXiv (Cornell University)|Dec 6, 2020

Advanced Graph Neural Networks参考文献 58被引用数 6

ひとこと要約

この論文は、局所的近傍の表現を再帰的にプーリングすることで、サイズ$k$の部分構造を数える新しいGNNアーキテクチャ、再帰的近傍プーリング（RNP）を紹介する。標準的なMPNNの部分グラフ数え上げの制限を克服し、既存の高次GNNと比較して計算コストを著しく低減した上で、任意のサイズ$k$の部分構造を数え上げることが可能であることを証明している。また、情報理論的および時間計算量の下界を厳密に確立している。

ABSTRACT

While message passing Graph Neural Networks (GNNs) have become increasingly popular architectures for learning with graphs, recent works have revealed important shortcomings in their expressive power. In response, several higher-order GNNs have been proposed that substantially increase the expressive power, albeit at a large computational cost. Motivated by this gap, we explore alternative strategies and lower bounds. In particular, we analyze a new recursive pooling technique of local neighborhoods that allows different tradeoffs of computational cost and expressive power. First, we prove that this model can count subgraphs of size $k$, and thereby overcomes a known limitation of low-order GNNs. Second, we show how recursive pooling can exploit sparsity to reduce the computational complexity compared to the existing higher-order GNNs. More generally, we provide a (near) matching information-theoretic lower bound for counting subgraphs with graph representations that pool over representations of derived (sub-)graphs. We also discuss lower bounds on time complexity.

研究の動機と目的

• メッセージパッシングGNNの部分構造数え上げ、特に3つ以上の頂点を持つ誘導部分グラフの数え上げにおける制限を解消すること。
• 既存の高次GNNが$\Theta(n^k)$の複雑度により計算コストが高いため、計算的に効率的な代替手法を開発すること。
• GNNにおけるプーリングベースの部分グラフ数え上げの表現力と計算複雑度のトレードオフを分析すること。
• 任意の部分構造を数え上げるGNNアーキテクチャに対して、情報理論的および時間計算量の下界を確立すること。
• 局所的近傍の再帰的プーリングが、ノードIDや完全な同型性チェックに依存せずに部分グラフ数え上げを達成できることを示すこと。

提案手法

• 局所的ノード近傍に対して$k$回の再帰的プーリング操作を適用することで、表現力を高める手法として、再帰的近傍プーリング（RNP）を提案する。
• 局所的近傍から導かれる部分グラフの表現を集合関数で集約し、構造的パターンの単射符号化を可能にする。
• 各レベルで$k$-タプルのノードの上に再帰的メッセージパッシング機構を適用し、より大きな部分グラフからの表現をプーリングする。
• 各再帰レベルで構造的情報を保持するための拡張された特徴表現を導入し、変換に学習可能なMLPを用いる。
• ノード表現に対する和プーリングを適用した後、最終的なMLPを介してグラフレベルの出力を得て、下流タスクに供する。
• グラフのスパarsityに適応する階層的集約戦略を設計し、全$k$-タプルGNNと比較して計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 ノードIDや完全な同型性チェックに依存せずに、局所的近傍の再帰的プーリング機構を用いて、サイズ$k$のすべての部分構造を数え上げられるGNNアーキテクチャは存在するか？
• RQ2 このような再帰的プーリングアプローチの計算複雑度は何か？ また、既存の高次GNNと比較するとどうなるか？
• RQ3 任意の部分構造を数え上げるGNNに対して、情報理論的および時間計算量の下界は何か？
• RQ4 入力グラフのスパarsityが、部分グラフ数え上げのための再帰的プーリングの効率に与える影響は何か？
• RQ5 提案されたRNP手法は、正確な数え上げに必要な部分グラフの数の観点から、最適に近いか？

主な発見

• RNPは、ノードIDや完全な同型性チェックに依存せずに、局所的近傍の再帰的プーリングを$k$回適用するだけで、サイズ$k$の任意の誘導部分グラフを数え上げることができ、標準的なMPNNの根本的制限を克服する。
• RNPの計算複雑度は、既存の高次GNNと比較して顕著に低く、$\Theta(n^k)$ではなく、関連する部分グラフの数に比例してスケーリングする。特にグラフがスパースな場合に顕著に効率的である。
• 部分構造を数え上げるために符号化しなければならない部分グラフの数に対する近似一致の情報理論的下界を確立し、RNPが符号化効率の観点で最適に近いことを示している。
• 時間計算量の下界を導出し、部分構造を数え上げられる任意のGNNが、少なくともある数の部分グラフ表現を処理しなければならないことを示しており、RNPはこの下界に非常に近い。
• Erdős-Rényiおよびランダム正則グラフに対する実験的評価により、RNP-GNNがパラメータ数と計算コストを削減しながら、ベースラインを上回る部分グラフ数え上げ性能を達成することが確認された。
• EXPデータセットにおいても、1-WL同等だが3-WLで区別可能なグラフを区別する強力な性能を示し、標準的なMPNNをはるかに上回る表現力を示している。