[論文レビュー] Expressiveness and Approximation Properties of Graph Neural Networks

Floris Geerts, Juan L. Reutter|arXiv (Cornell University)|Apr 10, 2022

Ferroelectric and Negative Capacitance Devices被引用数 7

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）の分離能を、そのアーキテクチャ設計とワイスフェーラー＝レーマン（WL）テストを結びつけることで体系的に分析するためのテンソル言語フレームワークを導入する。GNNをテンソル式として表現することで、その表現力の上限を迅速に評価可能となる。具体的には、式におけるインデックスの数と和集合のネスト深さが、GNNが $k$-WL や $t$ ラウンドの $k$-WL によって制限されるかどうかを直接決定する。これは、WL理論の深い知識を必要とせずに、GNN設計者にとって一般的で直感的なツールボックスを提供する。

ABSTRACT

Characterizing the separation power of graph neural networks (GNNs) provides an understanding of their limitations for graph learning tasks. Results regarding separation power are, however, usually geared at specific GNN architectures, and tools for understanding arbitrary GNN architectures are generally lacking. We provide an elegant way to easily obtain bounds on the separation power of GNNs in terms of the Weisfeiler-Leman (WL) tests, which have become the yardstick to measure the separation power of GNNs. The crux is to view GNNs as expressions in a procedural tensor language describing the computations in the layers of the GNNs. Then, by a simple analysis of the obtained expressions, in terms of the number of indexes and the nesting depth of summations, bounds on the separation power in terms of the WL-tests readily follow. We use tensor language to define Higher-Order Message-Passing Neural Networks (or k-MPNNs), a natural extension of MPNNs. Furthermore, the tensor language point of view allows for the derivation of universality results for classes of GNNs in a natural way. Our approach provides a toolbox with which GNN architecture designers can analyze the separation power of their GNNs, without needing to know the intricacies of the WL-tests. We also provide insights in what is needed to boost the separation power of GNNs.

研究の動機と目的

• 複雑なWL理論の証明に依存せずに、任意のGNNアーキテクチャの分離能を体系的に評価する一般的でアクセスしやすい手法を提供すること。
• GNN設計と表現力解析のギャップを埋めるために、GNNを手続き的テンソル言語で形式化すること。
• 既知の結果を回復し、インvariantグラフネットワークの分離能といったGNN表現力に関する未解決問題を解消する統一的フレームワークを提供すること。
• GNNアーキテクチャが、モデルのテンソル式の単純な構文解析によって、表現限界や普遍性を推論できるようにすること。

提案手法

• 著者らは、GNN計算をモデル化する目的に特化した汎用的テンソル言語を定義し、各層を変数、和集合、集約関数を含むテンソル式として表現する。
• 分離能は、テンソル式内で使用される異なるインデックスの数を数えることで分析され、$k+1$ 個のインデックスは $k$-WL による境界を示す。
• 和集合のネスト深さが、同じ分離能を達成するために必要な $k$-WL のラウンド数を決定する。深さ $t$ は $t$ ラウンドの $k$-WL に対応する。
• このフレームワークは、$k$-MPNN をMPNNの自然な拡張として導入する。$k$-MPNN は、$k+1$ 個のインデックスと有界な集約深さを持つテンソル式によって定義される。
• 「ガード付き」フラグメントは古典的MPNNに対応し、その分離能は色再帰（CR）によって制限され、1-WL に対応する。
• このアプローチにより、GNNクラスの普遍性結果や近似上限を、そのテンソル式の構造を分析することで導出可能となる。

実験結果

リサーチクエスチョン

• RQ1 どのような一般的フォーマリズムを用いることで、任意のGNNアーキテクチャの分離能を体系的に上限付けできるか？
• RQ2 GNNのテンソル式の構文的構造と、$k$-WL テストにおけるその表現力の正確な関係は何か？
• RQ3 このフレームワークは、インヴァリアントグラフネットワーク（IGNs）の正確な分離能といった、GNN表現力に関する未解決問題を解消できるか？
• RQ4 GNNのテンソル式における和集合のネスト深さは、その表現力を達成するために必要な $k$-WL のラウンド数とどのように関係するか？
• RQ5 この手法は、GCN、GIN、ChebNet といった既存のGNNの既知の結果を回復できるか。また、新しいアーキテクチャへの拡張も可能か？

主な発見

• テンソル言語で表現されたGNNの分離能は、$k+1$ 個のインデックスが使用されていれば $k$-WL によって制限され、表現力に対する直接的な構文的基準を提供する。
• GNNの分離能を達成するために必要な $k$-WL のラウンド数は、そのテンソル式における和集合の最大ネスト深さによって決定される。
• このフレームワークにより、未解決問題が解消された。具体的には、インヴァリアントグラフネットワーク（IGNs）の分離能が、以前の予想とは異なり $k$-WL ではなく $(k-1)$-WL によって制限されることを証明した。
• この手法により既知の結果が回復された：GCN と ChebNet は 2-WL によって制限され、$\mathsf{CayleyNet}$ もこの分析により 2-WL によって制限されることを示した。
• 古典的MPNNはテンソル言語のガード付きフラグメントに対応し、その分離能は色再帰（1-WL）によって制限され、従来の結果と整合的である。
• このフレームワークにより、GNNクラスの普遍性および近似結果が、そのテンソル式の構造を分析することで導出可能となった。