[論文レビュー] A Simple Proof of the Universality of Invariant/Equivariant Graph Neural Networks

Takanori Maehara, Hoang Nt|arXiv (Cornell University)|Oct 9, 2019

Advanced Graph Neural Networks参考文献 22被引用数 14

ひとこと要約

本稿では、新たなグラフ同型写像モデルを中間的な理論的枠組みとして用いることで、不変および等長的グラフニューラルネットワークの普遍性に関する単純で統一的な証明を提示する。同型写像数および $k$-ラベル付き同型写像数を普遍的な関数近似子として用いることで、著者らはテンソル化されたGNNが任意の連続的な不変または等長的関数を普遍的に近似できることを確立し、高次元出力における未解決問題を解決する。

ABSTRACT

We present a simple proof for the universality of invariant and equivariant tensorized graph neural networks. Our approach considers a restricted intermediate hypothetical model named Graph Homomorphism Model to reach the universality conclusions including an open case for higher-order output. We find that our proposed technique not only leads to simple proofs of the universality properties but also gives a natural explanation for the tensorization of the previously studied models. Finally, we give some remarks on the connection between our model and the continuous representation of graphs.

研究の動機と目的

• 不変および等長的グラフニューラルネットワークの普遍性について、単純で統一的な証明を確立すること。
• KerivenとPeyré (2019) が提起した、$k > 1$ の出力次元を持つ等長的関数に対するテンソル化GNNの普遍性に関する未解決問題を解消すること。
• 既存のGNNモデルにおけるテンソル化機構の理論的裏付けを、グラフ同型写像数の観点から自然に説明すること。
• 有限グラフからの普遍性結果を、グラフオンの連続的設定にまで拡張すること。

提案手法

• 普遍性証明を簡略化するための中間的な理論的枠組みとして、仮想のグラフ同型写像モデルを導入する。
• 重み付き隣接行列 $W$ の連続的で不変的および等長的な関数として、同型写像数 $\mathrm{hom}(F,W)$ および $k$-ラベル付き同型写像数 $\mathrm{hom}_{\vec{x}}(F,W)$ を定義する。
• 有限個の平行移動された同型写像数 $\mathrm{hom}(F,W+2I)$ の線形結合が、重み付きグラフ上の連続的不変関数空間において稠密であることを示すことにより、普遍性を証明する。
• $k$-ラベル付き同型写像数を用いて等長的関数へと議論を拡張し、グラフ同型定理を用いて別個の点性を検証する。
• 同型写像数の有限線形結合からなる代数にStone–Weierstrass定理を適用し、連続関数空間における稠密性を確立する。
• 離散的同型写像数を連続的同型写像密度 $t(F,W)$ および $t_{\vec{x}}(F,W)$ に置き換えることで、グラフオンへの拡張を行い、連続極限における普遍性を証明する。

実験結果

リサーチクエスチョン

• RQ1 不変および等長的グラフニューラルネットワークの普遍性について、単純で統一的な証明を構築できるか？
• RQ2 既存のGNNアーキテクチャにおけるテンソル化構造は、任意の連続的不変または等長的関数（高次元出力も含む）を普遍的に近似できるか？
• RQ3 既存モデルにおけるGNNレイヤーのテンソル化の理論的根拠は何か？
• RQ4 有限グラフからの普遍性結果を、連続的グラフオンフレームワークへと拡張できるか？
• RQ5 同型写像数および密度は、グラフニューラルネットワークの文脈において、どのように普遍的な関数近似子として機能するか？

主な発見

• 平行移動された同型写像数 $\mathrm{hom}(F,W+2I)$ の有限線形結合の集合は、重み付きグラフ上の連続的不変関数空間において稠密である。
• 平行移動された $k$-ラベル付き同型写像数 $\mathrm{hom}_{\vec{x}}(F,W+2I)$ の有限線形結合の集合は、連続的等長的関数空間において稠密であり、$k > 1$ の場合の未解決問題を解決する。
• グラフ同型写像モデルは、テンソル化GNNが同型写像数構成によって普遍性を達成できる理由を自然に説明する理論的ブリッジを提供する。
• 普遍性の結果は連続的グラフオン設定へと拡張される：同型写像密度 $t(F,W)$ の有限線形結合は、連続的不変グラフオン関数空間において稠密である。
• グラフオン上の等長的関数に関しては、$k$-ラベル付き同型写像密度 $t_{\vec{x}}(F,W)$ の有限線形結合が、連続的等長的グラフオン関数空間において稠密である。
• 標準的なStone–Weierstrass定理と同型写像数の性質を用いた証明技法により、不変および等長的ケース（高次元出力も含む）の統一的取り扱いが可能である。