[論文レビュー] Generalization and Representational Limits of Graph Neural Networks

Vikas Garg, Stefanie Jegelka+1 more|arXiv (Cornell University)|Feb 14, 2020

Advanced Graph Neural Networks参考文献 52被引用数 54

ひとこと要約

本論文は、標準的な局所情報に基づくGNNが主要なグラフ特性を計算できないことを示し、局所的な置換不変性を考慮したメッセージ伝搬GNNのデータ依存の一般化境界を提供するとともに、より表現力のあるGNNの変種を提案している。

ABSTRACT

We address two fundamental questions about graph neural networks (GNNs). First, we prove that several important graph properties cannot be computed by GNNs that rely entirely on local information. Such GNNs include the standard message passing models, and more powerful spatial variants that exploit local graph structure (e.g., via relative orientation of messages, or local port ordering) to distinguish neighbors of each node. Our treatment includes a novel graph-theoretic formalism. Second, we provide the first data dependent generalization bounds for message passing GNNs. This analysis explicitly accounts for the local permutation invariance of GNNs. Our bounds are much tighter than existing VC-dimension based guarantees for GNNs, and are comparable to Rademacher bounds for recurrent neural networks.

研究の動機と目的

• LU-GNNs および関連する局所構造 GNN 変種では、いくつかの重要なグラフ特性が計算できないことを示す。
• CPNGNNs および関連モデルを分析するためのグラフ理論的形式を開発する。
• 局所置換不変性を考慮したメッセージ伝搬 GNN のデータ依存の一般化境界を提供する。
• 識別された制限を克服するために、追加の幾何学的情報とポート情報を活用したより表現力のあるGNN変種（H-DCPN）を導入する。

提案手法

• Locally Unordered GNNs (LU-GNNs) および CPNGNN や DimeNet などの変種を定義する。
• LU-GNNs が識別できないグラフを構築し、それゆえ girth、circumference、diameter、radius、conjoint cycles、total cycles、k-cliques といった性質を計算できないことを示す。
• CPNGNNs の限界を形式化するために、port-covers および port-locally isomorphic グラフ概念を導入する。
• 方向性メッセージング、port numbering、および幾何平面特徴を組み合わせたより表現力のある変種として H-DCPN を提案する。
• local computation trees を展開し、置換不変な集約を用いて Rademacher 複雑さを縛ることにより mean-field GNNs のデータ依存一般化境界を導出する。
• research_questions([

実験結果

リサーチクエスチョン

• RQ1 LU-GNNs は girth、diameter、または clique 構造のような重要な性質が異なるグラフを識別できるか？
• RQ2 port-numbering に基づく GNN（CPNGNNs）は、これらの性質において LU-GNNs の限界を克服するのか？
• RQ3 局所置換不変性を考慮したメッセージ伝搬GNNのデータ依存一般化保証は何か？

主な発見

• LU-GNNs は局所情報のみを用いていくつかの重要なグラフ特性を計算できない。
• CPNGNNs は LU-GNNs が区別できないいくつかのグラフを識別できるが、その能力は選択された port numbering に依存する。
• CPNGNNs がいくつかのグラフ特性を決定できない一貫した port の順序付けが存在し、他のケースでは DimeNet もなお不十分である。
• 置換不変のリードアウトを持つ DimeNet は girth、circumference、diameter、radius、総サイクル数を決定できない； port-numbering のみでは不十分である。
• plane-angle 特徴を活用するより表現力のある変種 H-DCPN は、CPNGNN および DimeNet の両方で失敗するグラフを識別できる。
• 本論文は、深さ、幅、サンプルサイズの依存性において RNN-type の境界と一致する GNN のデータ依存一般化境界を導出し、局所置換不変性を明示的に扱う。