[論文レビュー] Universal Invariant and Equivariant Graph Neural Networks

Nicolas Keriven, Gabriel Peyré|arXiv (Cornell University)|May 13, 2019

Advanced Graph Neural Networks参考文献 46被引用数 81

ひとこと要約

この論文は、Stone-Weierstrass型の議論を用いて、1隠れ層の不変・等価グラフニューラルネットワーク(GNN)の普遍性を証明し、サイズが異なるグラフ上の関数にも拡張する。

ABSTRACT

Graph Neural Networks (GNN) come in many flavors, but should always be either invariant (permutation of the nodes of the input graph does not affect the output) or equivariant (permutation of the input permutes the output). In this paper, we consider a specific class of invariant and equivariant networks, for which we prove new universality theorems. More precisely, we consider networks with a single hidden layer, obtained by summing channels formed by applying an equivariant linear operator, a pointwise non-linearity and either an invariant or equivariant linear operator. Recently, Maron et al. (2019) showed that by allowing higher-order tensorization inside the network, universal invariant GNNs can be obtained. As a first contribution, we propose an alternative proof of this result, which relies on the Stone-Weierstrass theorem for algebra of real-valued functions. Our main contribution is then an extension of this result to the equivariant case, which appears in many practical applications but has been less studied from a theoretical point of view. The proof relies on a new generalized Stone-Weierstrass theorem for algebra of equivariant functions, which is of independent interest. Finally, unlike many previous settings that consider a fixed number of nodes, our results show that a GNN defined by a single set of parameters can approximate uniformly well a function defined on graphs of varying size.

研究の動機と目的

• 単一の隠れ層を持つ不変・等価GNNに普遍近似性の結果を拡張する。
• 不変性に対するStone–Weierstrass理論を活用した代替証明と、新しい等価Stone–Weierstrass定理を提供する。
• 単一のパラメータセットを用いて、異なるサイズのグラフ上で一様近似を示す。
• 不変/等価設定における普遍性に必要なパラメータ数とテンソル化の階数を特徴付ける。

提案手法

• 形式 f(G)=∑_s H_s[ρ(F_s[G]+B_s)]+b を満たす1層GNNを検討、F_sは不変/等価、H_sは不変または等価である。
• Kronecker拡張ネットワークを用いて連続的不変関数の閉じた代数を形成する。
• グラフ集合上の連続的不変関数の稠密近似を証明するためにStone–Weierstrass定理を適用する。
• グラフ上のベクトル値出力を扱うための等価関数の一般化Stone–Weierstrass定理を開発する。
• 単一パラメータセットでサイズが異なるグラフに対する普遍性を証明し、テンソル化次数k_sを分析する。

実験結果

リサーチクエスチョン

• RQ1 浅い不変GNNの単一パラメータセットは、サイズの異なるグラフ上の任意の連続的不変関数を近似できるか？
• RQ2 置換対称性を用いながら、ベクトル値出力を持つ等価GNNにも普遍性を拡張できるか？
• RQ3 不変および等価の場合で普遍性を達成するために、ネットワーク内部で必要な最小テンソル化次数は何か？
• RQ4 証明は、等価・高次グラフ設定へStone–Weierstrass理論をどのように適用するか？
• RQ5 出力がスカラーではなくグラフ次元または高次テンソルである場合の制約は何か？

主な発見

• 単一パラメータセットを持つ不変GNNは、グラフ集合（サイズが異なるものを含む）上の連続的不変関数の空間に対してdenseである。
• 単一パラメータセットを持つ等価GNNは、一般化されたStone–Weierstrass定理を介して、連続的な等価関数の空間に密である。
• この手法はKronecker拡張ネットワークを用いて関数の閉じた代数を形成し、点を分離して密度結果を適用する。
• ネットワーク内の高次テンソル化は実用的な普遍性には不可欠で、テンソル化次数を上げると実験で近似誤差が減少する。
• 同じパラメータを用いて、ノード数が異なるグラフ（最大 n_max まで）に対する一様近似を示す。