[論文レビュー] A Survey on The Expressive Power of Graph Neural Networks

Ryoma Sato|arXiv (Cornell University)|Mar 9, 2020

Advanced Graph Neural Networks参考文献 91被引用数 84

ひとこと要約

この調査はグラフニューラルネットワーク（GNNs）の表現力、WLテストによって明らかになる制限、GINs、k-GNNs、および高次元の不変/共変GNNsを含む検証可能に強力な変種を分析します。

ABSTRACT

Graph neural networks (GNNs) are effective machine learning models for various graph learning problems. Despite their empirical successes, the theoretical limitations of GNNs have been revealed recently. Consequently, many GNN models have been proposed to overcome these limitations. In this survey, we provide a comprehensive overview of the expressive power of GNNs and provably powerful variants of GNNs.

研究の動機と目的

• ノード分類およびグラフ分類タスクでGNNsが識別できるグラフを評価する。
• GNNsとWeisfeiler–Lehman (WL) アルゴリズムの関係を説明する。
• 標準的なGNNの制限を克服する証明可能に強力なGNN変種を評価する。
• GNNs、WL、および分散ローカルアルゴリズムの間のXS対応を強調する。

提案手法

• GNNの標準的なメッセージパッシングの定式化とグラフの識別におけるその限界を説明する。
• 1-WLおよびk-WLアルゴリズムとそれらとGNNsの関係を導入する。
• Graph Isomorphism Networks (GINs)を注入型アグリゲータとして提示し1-WLの力を達成する。
• 高次のGNNs (k-GNNs) とそれらのset k-WLおよびk-FWLへの関係を論じる。
• 高次の不変/共変ネットワークとそれらの普遍性特性を概説する。
• 高次構造が置換群に関する普遍性をどのように実現するかを説明する。

実験結果

リサーチクエスチョン

• RQ1 バニラのGNNsはどのようなグラフを識別でき、固有の制限は何か？
• RQ2 表現力の観点からGNNsはWLアルゴリズムとどのように関連するか？
• RQ3 グラフ同形性タスクにおいてGNNsをWL（およびそれ以上）の力にするアーキテクチャや変種は何か？
• RQ4 高次または不変/共変GNNsのトレードオフ（例: メモリ）と実用性は何か？

主な発見

• バニラのメッセージパッシングGNNsは1-WLアルゴリズムと同等の力しかない。
• GINsは注入的アグリゲーションを用いることで1-WLの表現力を達成できる。
• k-GNNs（set k-WLに基づく）はset k-WLに一致し、力が高い分メモリの代償がある。
• 高次不変/共変ネットワークは普遍性を提供し、ノード数に依存しない不変/共変関数のモデリングを可能にする。
• 階層がある: 1-WL ≈ 2-WL; k-WLはWLの力を拡張し、k-GNNsはset k-WLの力を実用的トレードオフとともに実現する。