[论文解读] Universal Invariant and Equivariant Graph Neural Networks

Nicolas Keriven, Gabriel Peyré|arXiv (Cornell University)|May 13, 2019

Advanced Graph Neural Networks参考文献 46被引用 81

一句话总结

该论文通过基于Stone-Weierstrass型的论证证明了一类单隐藏层的不变和等变图神经网络（GNNs）的 universality，并将结果扩展到不同大小图上的函数。

ABSTRACT

Graph Neural Networks (GNN) come in many flavors, but should always be either invariant (permutation of the nodes of the input graph does not affect the output) or equivariant (permutation of the input permutes the output). In this paper, we consider a specific class of invariant and equivariant networks, for which we prove new universality theorems. More precisely, we consider networks with a single hidden layer, obtained by summing channels formed by applying an equivariant linear operator, a pointwise non-linearity and either an invariant or equivariant linear operator. Recently, Maron et al. (2019) showed that by allowing higher-order tensorization inside the network, universal invariant GNNs can be obtained. As a first contribution, we propose an alternative proof of this result, which relies on the Stone-Weierstrass theorem for algebra of real-valued functions. Our main contribution is then an extension of this result to the equivariant case, which appears in many practical applications but has been less studied from a theoretical point of view. The proof relies on a new generalized Stone-Weierstrass theorem for algebra of equivariant functions, which is of independent interest. Finally, unlike many previous settings that consider a fixed number of nodes, our results show that a GNN defined by a single set of parameters can approximate uniformly well a function defined on graphs of varying size.

研究动机与目标

• 将对不变和等变GNNs 的 universality 近似结果扩展到只有一个隐藏层的情况。
• 提供利用 Stone-Weierstrass 理论来证明不变量的不变性，以及一个新的等变 Stone-Weierstrass 定理的替代证明。
• 展示在不同大小的图上，使用同一组参数实现均匀近似。
• 描述在不变/等变设定下实现 universality 所需的参数数量与张量化（tensorization）阶数。

提出的方法

• 考虑形如 f(G)=sum_s H_s[ρ(F_s[G]+B_s)]+b 的单层GNN，其中 F_s 为不变量/等变，H_s 为不变量或等变。
• 使用 Kronecker 增强网络来形成一个连续不变函数的闭子代数。
• 应用 Stone-Weierstrass 定理证明在图集合上对连续不变函数的致密近似。
• 为等变函数开发一个广义的 Stone-Weierstrass 定理，以处理图上的向量值输出。
• 证明在同一参数集下对不同大小的图的 universality，并分析参数 s 的张量化阶数。

实验结果

研究问题

• RQ1 单一参数集在浅层不变 GNN 中能否近似不同大小图上任何连续不变函数？
• RQ2 在使用置换对称性的前提下， universality 能否扩展到具有向量值输出的等变 GNN？
• RQ3 在不变和等变情形下实现 universality 需要的最小张量化阶数是多少？
• RQ4 证明如何将 Stone-Weierstrass 理论适配到等变的高阶图设置？
• RQ5 当输出是图或高阶张量而非标量时有哪些局限性？

主要发现

• 具有单一参数集的不变 GNN 在图集合的连续不变函数空间中是稠密的，包括大小可变的情况。
• 通过广义 Stone-Weierstrass 定理，具有单一参数集的等变 GNN 在连续等变函数空间中是稠密的。
• 该方法使用 Kronecker 增强网络来形成一个闭合的函数代数并分离点以应用致密性结果。
• 网络中的高阶张量化对实际 universality 至关重要，因为提高张量化阶数可以在实验中降低近似误差。
• 结果证明在不同节点数的图之间（最大 n_max 以内）使用相同参数实现均匀近似。