[論文レビュー] Provably Powerful Graph Networks

Haggai Maron, Heli Ben-Hamu+2 more|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 52被引用数 18

ひとこと要約

本稿では、多層パーセプトロン（MLP）と1つの行列乗算層を組み合わせることで、標準的なメッセージパッシングGNNよりも明確に高い表現力を持つ、シンプルでスケーラブルなグラフニューラルネットワーク（GNN）を提案する。このモデルは理論的に3-WLグラフ同型性テストの表現力を持つことが示され、メッセージパッシングGNNを制限する1-WLよりも厳密に強い。一方で、実用的な効率性を維持し、グラフ分類および回帰ベンチマークで最先端の性能を達成している。

ABSTRACT

Recently, the Weisfeiler-Lehman (WL) graph isomorphism test was used to measure the expressive power of graph neural networks (GNN). It was shown that the popular message passing GNN cannot distinguish between graphs that are indistinguishable by the 1-WL test (Morris et al. 2018; Xu et al. 2019). Unfortunately, many simple instances of graphs are indistinguishable by the 1-WL test. In search for more expressive graph learning models we build upon the recent k-order invariant and equivariant graph neural networks (Maron et al. 2019a,b) and present two results: First, we show that such k-order networks can distinguish between non-isomorphic graphs as good as the k-WL tests, which are provably stronger than the 1-WL test for k>2. This makes these models strictly stronger than message passing models. Unfortunately, the higher expressiveness of these models comes with a computational cost of processing high order tensors. Second, setting our goal at building a provably stronger, simple and scalable model we show that a reduced 2-order network containing just scaled identity operator, augmented with a single quadratic operation (matrix multiplication) has a provable 3-WL expressive power. Differently put, we suggest a simple model that interleaves applications of standard Multilayer-Perceptron (MLP) applied to the feature dimension and matrix multiplication. We validate this model by presenting state of the art results on popular graph classification and regression tasks. To the best of our knowledge, this is the first practical invariant/equivariant model with guaranteed 3-WL expressiveness, strictly stronger than message passing models.

研究の動機と目的

• メッセージパッシングGNNが1-WL同型性テストによって制限を受けるのとは対照的に、それより厳密に強い表現力を有するグラフニューラルネットワークモデルの開発。
• 高い表現力と計算上の実用性・スケーラビリティを両立するモデルの設計。高次テンソル演算の高コストを回避すること。
• 3-WLテストと同等の表現力を持つ、明確な理論的保証の提供。これは1-WLや2-WLよりも強い。
• 標準的なグラフ学習ベンチマーク上での実験的検証を通じて、分類および回帰タスクの両方で最先端の性能を示すこと。

提案手法

• モデルは、ノード特徴量に多層パーセプトロン（MLP）を適用し、隣接行列または特徴行列に1つの行列乗算層（すなわち2次演算）を交互に適用するシンプルなアーキテクチャを採用する。
• 多様な近傍の集合を表現するため、パワー和多重対称多項式（PMP）を用い、表現力の理論的分析を可能にする。
• k次GNNが使用する高次テンソルの計算負荷を回避するため、2次テンソル（n×n行列）上で動作するように設計されている。
• 理論的分析により、モデルが3-WLテストの表現力に達することが証明されている。これは、メッセージパッシングGNNを制限する1-WLよりも厳密に強い。
• ノード順序の変更に関係なく一貫した表現を保証するため、置換に関して不変かつ等変であるようにアーキテクチャが設計されている。
• 標準的なディープラーニング最適化手法（学習率スケジューリングと早期停止を含む）を用いて訓練し、標準的なグラフベンチマークを評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 シンプルでスケーラブルなGNNアーキテクチャが、1-WL同型性テストによって制限を受けるメッセージパッシングGNNよりも高い表現力を達成できるか。
• RQ2 2次テンソルと標準的なディープラーニングコンponentsのみを用いて、3-WL表現力を明確に保証できるGNNモデルを構築できるか。
• RQ3 本モデルの性能は、実世界のグラフ分類および回帰タスクにおける最先端手法と比較してどうなるか。
• RQ4 豊富な等変性線形層や単純なMLPと比較して、行列乗算層を組み込むことで一般化性能および表現力にどのような影響を与えるか。

主な発見

• 提案されたモデルは、3-WL表現力を明確に達成しており、メッセージパッシングGNNが制限を受ける1-WL表現力よりも厳密に強い。
• 8ノードのグラフ分類ベンチマークでは、全8データセットのうち6つで、過去のすべての手法の中でも上位3位以内にランクインした。
• QM9のグラフ回帰タスクでは、1つの共有ネットワークを使用した場合、12の物理的性質のうち5つで最小の平均絶対誤差を達成し、各性質ごとに別々のネットワークを使用した場合は9つで同様の結果を達成した。
• 行列乗算とMLPのみ（MP）で構成されるモデルは、完全な線形等変性層（MP+LIN）を備えたモデルと同等の一般化性能を達成したが、はるかに低い計算コストであった。
• 標準的なMLPベースラインや、完全な線形等変性基底のみを用いたモデルと比較して、本モデルは優れた性能を示しており、行列乗算層が表現力および一般化性能の両面で不可欠であることが示された。
• 社会的ネットワーク、分子、化学化合物を含む多数のデータセットにおいて、モデルの性能は安定しており、広範な適用可能性とスケーラビリティを示した。