[論文レビュー] Ordered Subgraph Aggregation Networks

Chendi Qian, Gaurav Rattan+3 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、学習可能でデータ駆動型のサンプリングを用いて部分グラフ選択をモデル化することで、部分グラフ強化GNNを包括的に捉え、拡張する統一的理論枠組みである順序付き部分グラフ集約ネットワーク（k-OSAN）を紹介する。主な貢献は、部分グラフサイズを増加させることで表現力が一貫して向上することを示したことであり、微分可能部分グラフサンプリングを用いたI-MLEフレームワークを通じて、非データ駆動型ベースラインと比較して、精度が向上し計算コストが削減されることを実証的に示している。

ABSTRACT

Numerous subgraph-enhanced graph neural networks (GNNs) have emerged recently, provably boosting the expressive power of standard (message-passing) GNNs. However, there is a limited understanding of how these approaches relate to each other and to the Weisfeiler-Leman hierarchy. Moreover, current approaches either use all subgraphs of a given size, sample them uniformly at random, or use hand-crafted heuristics instead of learning to select subgraphs in a data-driven manner. Here, we offer a unified way to study such architectures by introducing a theoretical framework and extending the known expressivity results of subgraph-enhanced GNNs. Concretely, we show that increasing subgraph size always increases the expressive power and develop a better understanding of their limitations by relating them to the established $k ext{-}\mathsf{WL}$ hierarchy. In addition, we explore different approaches for learning to sample subgraphs using recent methods for backpropagating through complex discrete probability distributions. Empirically, we study the predictive performance of different subgraph-enhanced GNNs, showing that our data-driven architectures increase prediction accuracy on standard benchmark datasets compared to non-data-driven subgraph-enhanced graph neural networks while reducing computation time.

研究の動機と目的

• 異なる部分グラフ強化GNNアーキテクチャを共通の枠組みで統一し、理論的に分析すること。
• 部分グラフ強化GNNと表現力の観点からk-WL階層との関係を明確にすること。
• データ分布に適応する固定ヒューリスティクスや全列挙を避ける、データ駆動型の部分グラフサンプリング手法を開発すること。
• 学習可能な部分グラフサンプリングが予測精度を向上させるとともに計算コストを削減することを、標準ベンチマーク上で実証的に検証すること。

提案手法

• 部分グラフを順序付き頂点集合としてモデル化し、学習可能な関数による集約を用いることで、部分グラフ強化GNNを一般化する理論的枠組みk-OSANを提案する。
• 各部分グラフ内でのメッセージパッシング機構を採用し、頂点表現を近傍集約に基づいて更新する。また、削除されたかハイライトされた頂点（例：マークされた頂点）はインジケータ特徴により符号化される。
• I-MLEフレームワークを用いた微分可能部分グラフサンプリングを採用し、摂動に基づく勾配推定を用いて離散的部分グラフ選択の逆誤差伝搬を可能にする。
• より大きな部分グラフ（高いk）を用いる階層的アーキテクチャを導入し、それにより表現力が厳密に向上することを示す。表現力の上限は(k+1)-WLに達する。
• すべての部分グラフ表現に対するグローバル集約関数を定義し、頂点レベルおよびグラフレベルの予測を可能にする、最終的なグラフレベル表現を生成する。
• 部分グラフ方針をフレームワークの特定の設定として符号化することで、DS-GNN、kernelGNN、およびネストドGNNなどの既存の部分グラフ強化GNNをk-OSANがシミュレートできることを示す。

実験結果

リサーチクエスチョン

• RQ1 部分グラフ強化GNNは、表現力の観点からk-WL階層とどのように関係しているか？
• RQ2 部分グラフサイズを増加させることで、GNNの表現力は一貫して向上するか？
• RQ3 部分グラフ選択をデータ駆動的かつ微分可能に学習することで、性能と効率が向上するか？
• RQ4 実際の応用において、データ駆動型部分グラフサンプリング戦略は一様サンプリングや手作業で設計されたヒューリスティクスと比較してどうなるか？
• RQ5 k-OSANの表現力の上限は何か？ また、k-WLと比較してどうなるか？

主な発見

• k-OSANにおける部分グラフサイズkの増加は、一貫して表現力を向上させ、適切な階層を形成する。
• k-OSANは表現力において(k+1)-WLによって上界に達し、k-WLとは比較不能であるため、独立的で、より柔軟な表現能力を有することが示唆される。
• 提案されたデータ駆動型k-OSANは、標準的なグラフベンチマークデータセットにおいて、非データ駆動型部分グラフ強化GNNよりも高い予測精度を達成する。
• 精度が向上したにもかかわらず、k-OSANは全部分グラフ列挙ベースラインと比較して、計算時間を顕著に短縮する。
• 適切なパラメータ化により、k-OSANはDS-GNN、kernelGNN、およびエゴネットベースのモデルを含む既存の部分グラフ強化GNNを効果的に捉え、一般化することができる。
• 実証的結果から、I-MLEによる微分可能部分グラフサンプリングが、効果的かつ効率的な学習を可能にし、ランダム選択やヒューリスティクス選択に比べて優れた性能を発揮することが確認された。