[論文レビュー] Expressive Power of Invariant and Equivariant Graph Neural Networks

Waïss Azizian, Marc Lelarge|arXiv (Cornell University)|Jun 28, 2020

Advanced Graph Neural Networks参考文献 32被引用数 22

ひとこと要約

この論文は、不変および等長的GNNアーキテクチャの表現力の比較を可能にする理論的枠組みを導入することで、実用的GNNに対する最初の近似保証を確立した。Folklore GNN（FGNN）の順序$k$が、同じ順序のテンソルベースのGNNの中で最も表現力が高く、$(k+1)$-WL未満の任意の関数を近似可能であることを証明し、既存の手法と比較してNP困難な二次割り当て問題（QAP）において優れた性能を示した。

ABSTRACT

Various classes of Graph Neural Networks (GNN) have been proposed and shown to be successful in a wide range of applications with graph structured data. In this paper, we propose a theoretical framework able to compare the expressive power of these GNN architectures. The current universality theorems only apply to intractable classes of GNNs. Here, we prove the first approximation guarantees for practical GNNs, paving the way for a better understanding of their generalization. Our theoretical results are proved for invariant GNNs computing a graph embedding (permutation of the nodes of the input graph does not affect the output) and equivariant GNNs computing an embedding of the nodes (permutation of the input permutes the output). We show that Folklore Graph Neural Networks (FGNN), which are tensor based GNNs augmented with matrix multiplication are the most expressive architectures proposed so far for a given tensor order. We illustrate our results on the Quadratic Assignment Problem (a NP-Hard combinatorial problem) by showing that FGNNs are able to learn how to solve the problem, leading to much better average performances than existing algorithms (based on spectral, SDP or other GNNs architectures). On a practical side, we also implement masked tensors to handle batches of graphs of varying sizes.

研究の動機と目的

• 不変および等長的GNNアーキテクチャの表現力の比較のための理論的枠組みの構築。
• 2項グラフ区別性を越えて、実用的GNNに対する近似保証の提供。
• Folklore GNN（FGNN）の順序$k$が、同じ順序のテンソルベースのGNNの中で最も表現力が高いことの確立。
• さまざまなサイズのグラフを扱うGNNへの普遍性結果の拡張。
• NP困難な組合せ最適化問題、二次割り当て問題（QAP）において理論的知見の実証的検証。

提案手法

• 著者らは、対称関数へのStone-Weierstrass定理の拡張により、不変および等長的GNNの近似理論を可能にした。
• Weisfeiler-Lehman（WL）テストに基づくグラフ不変量の階層を定義し、特に$(k+1)$-WLを用いて表現力を測定した。
• $k$-FGNNを、行列乗算を追加したテンソルベースのGNNとして導入し、高次の相互作用を可能にした。
• 部分代数と閉包の議論を用いて、$k$-FGNNが$(k+1)$-WL未満の任意の不変または等長的関数を近似可能であることを証明した。
• 変動サイズのグラフを扱うために、グラフの空間に最終位相またはグラフ編集距離を導入し、多様なグラフサイズにおいて普遍近似を可能にした。
• 実用的なバッチ処理のために、マスク付きテンソルを実装し、サイズが異なる複数のグラフを効率的に処理した。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシングGNN、$k$-LGNN、$k$-FGNNといった実用的GNNアーキテクチャの、不変および等長的関数を近似する際の表現力は何か？
• RQ2 同じサイズのグラフに対して、1つのGNNアーキテクチャが$(k+1)$-WL未満のすべての関数を近似可能か？
• RQ3 $k$-FGNNの表現力は、$k$-LGNN やメッセージパッシングGNNといった他のアーキテクチャと比べてどうか？
• RQ4 $k$-FGNNは、既存のGNNや古典的アルゴリズムと比較して、NP困難な問題（例：二次割り当て問題）をより効果的に解けるか？
• RQ5 有界なテンソル順序に制限されたGNNにおける普遍性の理論的基盤は何か？

主な発見

• 順序$k$のFolklore GNN（FGNN）は、与えられた$k$に対して、最も表現力が高いテンソルベースのGNNアーキテクチャであり、$(k+1)$-WL未満の任意の関数を近似可能である。
• この論文は、$k$が無限大に近づく際、$k$-FGNNが普遍性を達成することを証明し、計算不能なGNNクラスに対する既存の普遍性結果を拡張した。
• 不変の場合、$k$-FGNNは$\rho(k\text{-FWL}_I) \subseteq \rho(f)$を満たす任意の関数$f$を近似可能である。ここで$\rho$は関数の核を表す。
• 等長の場合、$k$-FGNNは$\rho(k\text{-FWL}_E) \subseteq \rho(f)$を満たす任意の等長的関数$f$を近似可能であり、ノードレベルの予測への分析を拡張した。
• 実験的に、2-FGNNは標準的なメッセージパッシングGNNおよび古典的アルゴリズム（スペクトル法、SDP、他のGNN）を上回り、二次割り当て問題において優れた平均性能を示した。
• グラフ編集距離と最終位相を用いて、さまざまなサイズのグラフに対する理論的枠組みを拡張し、近似結果が多様なグラフ入力に対して成り立つことを保証した。