[論文レビュー] From Stars to Subgraphs: Uplifting Any GNN with Local Structure Awareness

Lingxiao Zhao, Wei Jin+2 more|arXiv (Cornell University)|Oct 7, 2021

Advanced Graph Neural Networks参考文献 52被引用数 26

ひとこと要約

GNN-AK は base GNN を用いて局所サブグラフをエンコードすることで任意の GNN の表現力を高め、1-WL および 2-WL を超える表現力を実現し、複数のグラフベンチマークで最先端の結果を達成する。

ABSTRACT

Message Passing Neural Networks (MPNNs) are a common type of Graph Neural Network (GNN), in which each node's representation is computed recursively by aggregating representations (messages) from its immediate neighbors akin to a star-shaped pattern. MPNNs are appealing for being efficient and scalable, how-ever their expressiveness is upper-bounded by the 1st-order Weisfeiler-Lehman isomorphism test (1-WL). In response, prior works propose highly expressive models at the cost of scalability and sometimes generalization performance. Our work stands between these two regimes: we introduce a general framework to uplift any MPNN to be more expressive, with limited scalability overhead and greatly improved practical performance. We achieve this by extending local aggregation in MPNNs from star patterns to general subgraph patterns (e.g.,k-egonets):in our framework, each node representation is computed as the encoding of a surrounding induced subgraph rather than encoding of immediate neighbors only (i.e. a star). We choose the subgraph encoder to be a GNN (mainly MPNNs, considering scalability) to design a general framework that serves as a wrapper to up-lift any GNN. We call our proposed method GNN-AK(GNN As Kernel), as the framework resembles a convolutional neural network by replacing the kernel with GNNs. Theoretically, we show that our framework is strictly more powerful than 1&2-WL, and is not less powerful than 3-WL. We also design subgraph sampling strategies which greatly reduce memory footprint and improve speed while maintaining performance. Our method sets new state-of-the-art performance by large margins for several well-known graph ML tasks; specifically, 0.08 MAE on ZINC,74.79% and 86.887% accuracy on CIFAR10 and PATTERN respectively.

研究の動機と目的

• GNNs の 1-WL を超える表現力を高めつつ、スケーラビリティを犠牲にしないことを動機付ける。
• GNN をカーネルとして使用し、星状近傍の集約をサブグラフベースのエンコーディングに置き換える一般的なフレームワークを導入する。
• GNN-AKと WL 階層との関連性に関する理論的保証と、メモリを管理する実践的戦略を提供する。
• サブグラフサンプリングを用いた実用的な実装（GNN-AK および GNN-AK+）を開発し、性能を維持しつつスケーラビリティと速度を向上させる。
• さまざまなベースGNNを用いた合成データと実世界のグラフデータセットにおいて、経験的な利得を示す。

提案手法

• ノード更新を、直近のスターネイバーフードだけでなく、各ノードの周囲に根付きkホップのエゴノート（サブグラフ）をエンコードするように再定義する。
• 基底GNNをサブグラフエンコーダ（カーネル）として使用し、各サブグラフ内の各ノードの埋め込みを生成する。
• セントロイド、サブグラフ、およびコンテキストエンコーディングを介してサブグラフの埋め込みを集約し、それらを融合して層ごとのノード表現を得る。
• サブグラフ内のより豊富な情報を活用するため、コンテキストエンコーディングとデンス・ツー・センチロイド(D2C)に基づくゲーティングを追加してGNN-AK+へ拡張する。
• 訓練中にサブグラフをサンプルするSubgraphDropを導入し、メモリ使用量を削減し過剰適合を緩和する。訓練と評価間の整合性調整を含む。

実験結果

リサーチクエスチョン

• RQ1 いかにして、計算コストが過度に高くならずに、任意のGNNの表現力を1-WLを超えて高めることができるか？
• RQ2 GNNカーネルを介して局所的に誘導されたサブグラフの情報をエンコードすることで、従来のMPNNよりも証明可能な表現力の利点を提供できるか？
• RQ3 メモリと実行時オーバーヘッドを削減しつつ性能を維持する実用的な戦略（サンプリング、ゲーティング、マルチエンコード）は何か？
• RQ4 標準的なグラフ分類/回帰ベンチマークにおいて、GNN-AK とその強化版 GNN-AK+ が最先端の結果を達成する程度はどれくらいか？
• RQ5 Subgraph-1-WL 的フレームワークが、1-WLおよび2-WLを超えて非同型グラフを識別できる条件は何か？

主な発見

• 基底MPNNを用いた場合、GNN-AKは1-WLおよび2-WLより厳密に強力であり、適切な基底エンコーダを用いた場合には3-WLに劣ることはない。
• GNN-AK+ はコンテキストエンコーディングおよびD2Cガイド付きエンコーディングを取り入れることで表現力をさらに向上させ、経験的性能を強化する。
• SubgraphDrop はメモリオーバーヘッドを実質的に削減（実務上は1–3倍）し、ベンチマークでの性能低下はごくわずかである。
• ZINC、CIFAR10、PATTERN の実験を通じて、GNN-AK+ は最先端または競合的な結果を達成し、標準的なGNNベースラインを大幅に上回る。
• 理論的結果は Subgraph-1-WL が、選択されたサブグラフエンコーディングとカーネル表現力に依存して、特定の高次WLテストと一致する（またはそれを超える）ことを示す。