[論文レビュー] The Expressive Power of Graph Neural Networks: A Survey

Bingxu Zhang, Changjun Fan+5 more|arXiv (Cornell University)|Aug 16, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本調査は、グラフニューラルネットワーク（GNN）の表現力について統一的な理論的枠組みを提供し、それを高める手法を3本の柱に分類する：グラフ特徴の強化、グラフトポロジーの強化、GNNアーキテクチャの強化。現在のベンチマークと評価指標の限界を特定し、物理的知見を組み込んだGNN設計とグラフニューラルアーキテクチャ探索（GraphNAS）を提唱し、今後のGNN表現力に関する研究の標準化された道筋を提示する。

ABSTRACT

Graph neural networks (GNNs) are effective machine learning models for many graph-related applications. Despite their empirical success, many research efforts focus on the theoretical limitations of GNNs, i.e., the GNNs expressive power. Early works in this domain mainly focus on studying the graph isomorphism recognition ability of GNNs, and recent works try to leverage the properties such as subgraph counting and connectivity learning to characterize the expressive power of GNNs, which are more practical and closer to real-world. However, no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a first survey for models for enhancing expressive power under different forms of definition. Concretely, the models are reviewed based on three categories, i.e., Graph feature enhancement, Graph topology enhancement, and GNNs architecture enhancement.

研究の動機と目的

• 従来のWeisfeiler-Lehman（WL）テストを超える部分グラフカウント、連結性学習、論理的能力に関する包括的調査が不足していることに対処する。
• 特徴埋め込み能力とトポロジー表現能力の区別を明確にすることで、GNN表現力の定義を統一する。
• GNN表現力の限界要因を特定する。特に、グローバルなグラフ構造を捉える能力の欠如と、置換不変集約の制限。
• 現在のベンチマークと評価指標を批判し、合成データセット、一貫性のないベースライン、および下流タスクの全体的性能を表現力の代理指標として使用するという問題を指摘する。
• 今後の研究方向性を提案する。物理的知見を組み込んだGNN設計と、表現力強化に特化したグラフニューラルアーキテクチャ探索（GraphNAS）の活用。

提案手法

• 特徴埋め込み能力とトポロジー表現能力の2要素によってGNN表現力を定義する統一的理論的枠組みを提案する。
• 既存の表現力強化手法を3つのカテゴリに分類する：グラフ特徴強化、グラフトポロジー強化、GNNアーキテクチャ強化。
• k-WL階層が表現力の指標としての限界を分析し、k > 3 の場合に不正確であり、より洗練された評価階層の必要性を指摘する。
• メッセージパッシングパラダイムから逸脱する物理的インスピレーションを受けるGNNをレビューし、微分幾何学と代数的トポロジーを用いて高い表現力を達成する。
• グラフニューラルアーキテクチャ探索（GraphNAS）を、より表現力の高いGNNを自動的に設計する低コストな手法として提案する。表現力優先の探索空間の構築が不可欠であることを強調する。
• 現在の評価慣行を批判し、実世界のデータセットを用いた標準化されたベンチマークと、下流タスクの性能とは独立した表現力評価のための専用指標の導入を提唱する。

実験結果

リサーチクエスチョン

• RQ1 古典的WLテストを超えるGNN表現力を定義づける主な要素は何か？
• RQ2 グラフ特徴強化、トポロジー強化、アーキテクチャ強化は、GNN表現力の向上にどのように異なる貢献をしているか？
• RQ3 なぜ現在のGNN表現力評価ベンチマークと指標は信頼性が低いか、不十分とされるのか？
• RQ4 GNN表現力の限界要因の背後にある要因は何か？特に置換不変性とグローバル構造の捉え方とどのように関連しているか？
• RQ5 物理的知見を組み込んだモデルとグラフニューラルアーキテクチャ探索（GraphNAS）は、どのようにより表現力の高いGNNの設計に活用できるか？

主な発見

• GNNの表現力は、グローバルなグラフトポロジーを効果的に捉えることができず、置換不変性を維持できないことによって制限されており、非同型グラフを区別する能力が制限される。
• 現在の評価慣行は、ノード特徴のない合成データセットに依存し、ベースライン選択が一貫性がなく、全体のモデル性能を表現力の代理指標として使用するという点で欠陥を抱えている。これは複数の要因が混在する状態を生じる。
• k > 3 の場合、k-WL階層は粗すぎて信頼性の低い表現力評価を提供するため、より洗練された評価階層の開発が不可欠である。
• 微分幾何学と代数的トポロジーを用いる物理的知見を組み込んだGNNは、従来のメッセージパッシングパラダイムから逸脱することで、より高い表現力を達成できる。
• グラフニューラルアーキテクチャ探索（GraphNAS）は、表現力強化のための有望な自動化手法であるが、現在の探索空間は一般化性能を重視しており、表現力の観点が欠落しているため、重要な研究ギャップが生じている。
• 統一的理論的枠組みを提案し、特徴とトポロジー表現を統合することで、GNN表現力の分析を標準化し、今後のモデルの体系的評価と比較を可能にする。