[論文レビュー] Let's Agree to Degree: Comparing Graph Convolutional Networks in the Message-Passing Framework

Floris Geerts, Filip Mazowiecki+1 more|arXiv (Cornell University)|Apr 6, 2020

Advanced Graph Neural Networks参考文献 17被引用数 12

ひとこと要約

この論文は、メッセージパッシングニューラルネットワーク（MPNN）フレームワーク内におけるグラフ畳み込みネットワーク（GCN）とグラフニューラルネットワーク（GNN）の識別能力を比較し、GCNが次数に依存するメッセージパッシングにより、ワイズファイラー＝レーマン（WL）アルゴリズムより1ステップ先んであることを示している。また、キプスとウェリングによって導入された学習可能なパラメータのおかげで、GCNはWLアルゴリズムをシミュレートでき、その完全な識別能力を達成している。

ABSTRACT

In this paper we cast neural networks defined on graphs as message-passing neural networks (MPNNs) in order to study the distinguishing power of different classes of such models. We are interested in whether certain architectures are able to tell vertices apart based on the feature labels given as input with the graph. We consider two variants of MPNNS: anonymous MPNNs whose message functions depend only on the labels of vertices involved; and degree-aware MPNNs in which message functions can additionally use information regarding the degree of vertices. The former class covers a popular formalisms for computing functions on graphs: graph neural networks (GNN). The latter covers the so-called graph convolutional networks (GCNs), a recently introduced variant of GNNs by Kipf and Welling. We obtain lower and upper bounds on the distinguishing power of MPNNs in terms of the distinguishing power of the Weisfeiler-Lehman (WL) algorithm. Our results imply that (i) the distinguishing power of GCNs is bounded by the WL algorithm, but that they are one step ahead; (ii) the WL algorithm cannot be simulated by "plain vanilla" GCNs but the addition of a trade-off parameter between features of the vertex and those of its neighbours (as proposed by Kipf and Welling themselves) resolves this problem.

研究の動機と目的

• メッセージパッシングニューラルネットワーク（MPNN）のグラフ表現学習における識別能力を分析すること。
• 標準的なGNNをカバーする匿名MPNN（次数情報なし）と、GCNをカバーする次数に依存するMPNN（次数情報あり）の、頂点およびグラフの識別能力を比較すること。
• GCNがワイズファイラー＝レーマン（WL）アルゴリズムをシミュレート可能かどうかを特定すること。WLアルゴリズムは、グラフニューラルネットワークにおける識別能力のベンチマークである。
• GCNまたはGNNがWLアルゴリズムの表現力に一致または上回る条件を特定すること。
• キプスとウェリングが提案した学習可能なパラメータの導入について、理論的根拠を提供すること。

提案手法

• MPNNをメッセージパッシングフレームワークとして形式化し、次数情報なしの匿名MPNNと、次数情報ありの次数に依存するMPNNの区別を行う。
• 識別能力の基準としてワイズファイラー＝レーマン（WL）アルゴリズムを用い、頂点の色分けの改善を用いてMPNNとWLを比較する。
• 匿名MPNNがWLアルゴリズムの識別能力によって制限されることを証明し、先行研究を一般化する。
• 次数に依存するMPNNが、WLアルゴリズムより1ステップ先んであることを示す。これは、WLが1ステップの反復後に次数情報を得るのに対し、次数に依存するMPNNは初期段階から次数情報を有しているためである。
• 線形代数的定式化（例：学習可能なパラメータを含む正規化隣接行列）に基づく特定のMPNNアーキテクチャを構築し、WLアルゴリズムをシミュレートする。
• 有理数と不等式を用いた代数的構成を用いて、特定のパラメータ選択が低い表現力へと収束することを避けることを証明する。

実験結果

リサーチクエスチョン

• RQ1 次数に依存するMPNN（例：GCN）は、ワイズファイラー＝レーマン（WL）アルゴリズムの識別能力を超えることができるか？
• RQ2 標準的なGCNがWLアルゴリズムをシミュレート可能か、それとも追加のパラメータが必要か？
• RQ3 頂点の次数情報の組み込みが、メッセージパッシングニューラルネットワークの識別能力にどのように影響するか？
• RQ4 GCNにおける特定のアーキテクチャ的選択が、WLアルゴリズムの表現力に一致させる要因となっているか？
• RQ5 固定入力グラフに対するWLアルゴリズムのシミュレーションが、GNNまたはGCNアーキテクチャに基づくMPNNによって、すべてのグラフに一般化可能か？

主な発見

• 匿名MPNN（標準的なGNNを含む）は、ワイズファイラー＝レーマン（WL）アルゴリズムの識別能力によって制限される。
• 次数に依存するMPNN（例：GCN）は、初期段階から頂点の次数情報を有しているため、WLアルゴリズムより1ステップ先んである。
• WLアルゴリズムは、次数に依存するMPNNによってシミュレート可能であるが、「シンプルな」GCN（学習可能なパラメータなし）では不可能である。
• GCNのメッセージパッシング機構に学習可能なパラメータ $ p $ を追加すること—具体的には $ ( extbf{D} + p\textbf{I})^{-1/2} $ に—により、任意の固定入力グラフに対してWLアルゴリズムをシミュレートできるようになる。
• 理論的分析により、キプスとウェリングが提案したパラメータ $ p $ が、GCNがWLアルゴリズムの完全な表現力を達成するための必要十分条件であることが確認された。
• 線形代数的定式化（例：正規化隣接行列と学習可能なパラメータを含む）に基づく特定のMPNNクラスは、WLアルゴリズムをシミュレート可能であり、その設計に理論的根拠を提供する。