[论文解读] A Simple Proof of the Universality of Invariant/Equivariant Graph Neural Networks

Takanori Maehara, Hoang Nt|arXiv (Cornell University)|Oct 9, 2019

Advanced Graph Neural Networks参考文献 22被引用 14

一句话总结

本文通过引入一种新颖的图同态模型作为中间理论构造，提供了一个简单且统一的证明，证明了不变性和等变图神经网络的普遍性。通过利用同态数和 $k$-标记同态数作为通用函数逼近器，作者证明了张量化的 GNN 可以普遍逼近任意连续的不变或等变函数，从而解决了关于高阶等变输出的开放问题。

ABSTRACT

We present a simple proof for the universality of invariant and equivariant tensorized graph neural networks. Our approach considers a restricted intermediate hypothetical model named Graph Homomorphism Model to reach the universality conclusions including an open case for higher-order output. We find that our proposed technique not only leads to simple proofs of the universality properties but also gives a natural explanation for the tensorization of the previously studied models. Finally, we give some remarks on the connection between our model and the continuous representation of graphs.

研究动机与目标

• 建立不变性和等变图神经网络普遍性的简单且统一的证明，包括高阶输出的情形。
• 解决 Keriven 和 Peyré (2019) 提出的关于张量化 GNN 在 $k > 1$ 输出维度下对等变函数普遍性的开放问题。
• 通过图同态数的视角，为现有 GNN 模型中张量化机制提供自然的理论解释。
• 将普遍性结果从有限图扩展到图子（graphons）的连续设置，利用同态密度。

提出的方法

• 引入一种假设的图同态模型作为中间理论框架，以简化普遍性证明。
• 定义同态数 $\mathrm{hom}(F,W)$ 和 $k$-标记同态数 $\mathrm{hom}_{\vec{x}}(F,W)$，作为加权邻接矩阵 $W$ 的连续、不变和等变函数。
• 通过证明有限个平移后的同态数 $\mathrm{hom}(F,W+2I)$ 的线性组合在连续不变函数空间中稠密，从而证明普遍性。
• 通过使用 $k$-标记同态数并借助图同构定理验证分离点性质，将论证扩展到等变函数。
• 将 Stone–Weierstrass 定理应用于同态数的有限线性组合代数，建立其在连续函数空间中的稠密性。
• 通过将离散的同态数替换为连续的同态密度 $t(F,W)$ 和 $t_{\vec{x}}(F,W)$，将结果扩展到图子，证明在连续极限下的普遍性。

实验结果

研究问题

• RQ1 能否为不变性和等变图神经网络的普遍性构建一个简单且统一的证明？
• RQ2 张量化 GNN 架构是否足以普遍逼近任意连续的不变或等变函数，包括具有高阶输出的函数？
• RQ3 现有模型中 GNN 层张量化机制的理论依据是什么？
• RQ4 普遍性结果能否从有限图扩展到连续的图子框架？
• RQ5 同态数和同态密度在图神经网络背景下如何作为通用函数逼近器发挥作用？

主要发现

• 有限个平移后的同态数 $\mathrm{hom}(F,W+2I)$ 的线性组合在加权图上连续不变函数空间中是稠密的。
• 有限个平移后的 $k$-标记同态数 $\mathrm{hom}_{\vec{x}}(F,W+2I)$ 的线性组合在连续等变函数空间中是稠密的，从而解决了 $k > 1$ 时的开放问题。
• 图同态模型提供了一个自然的理论桥梁，解释了为何张量化 GNN 能通过同态数构造实现普遍性。
• 普遍性结果可扩展至连续图子设置：同态密度 $t(F,W)$ 的有限线性组合在连续不变图子函数空间中是稠密的。
• 对于图子上的等变函数，$k$-标记同态密度 $t_{\vec{x}}(F,W)$ 的有限线性组合在连续等变图子函数空间中是稠密的。
• 利用标准 Stone–Weierstrass 定理和同态数性质的证明技术，统一处理了不变和等变情形，包括高阶输出。