[论文解读] Expressive Power of Invariant and Equivariant Graph Neural Networks

Waïss Azizian, Marc Lelarge|arXiv (Cornell University)|Jun 28, 2020

Advanced Graph Neural Networks参考文献 32被引用 22

一句话总结

该论文通过引入一个理论框架，首次为实际的图神经网络（GNN）建立了近似保证，用于比较不变性和等变GNN架构的表达能力。证明了同阶的Folklore GNN（FGNN）在所有同阶张量基GNN中表达能力最强，能够近似任何低于$(k+1)$-WL的函数，并在NP难的二次分配问题（Quadratic Assignment Problem）上优于现有方法。

ABSTRACT

Various classes of Graph Neural Networks (GNN) have been proposed and shown to be successful in a wide range of applications with graph structured data. In this paper, we propose a theoretical framework able to compare the expressive power of these GNN architectures. The current universality theorems only apply to intractable classes of GNNs. Here, we prove the first approximation guarantees for practical GNNs, paving the way for a better understanding of their generalization. Our theoretical results are proved for invariant GNNs computing a graph embedding (permutation of the nodes of the input graph does not affect the output) and equivariant GNNs computing an embedding of the nodes (permutation of the input permutes the output). We show that Folklore Graph Neural Networks (FGNN), which are tensor based GNNs augmented with matrix multiplication are the most expressive architectures proposed so far for a given tensor order. We illustrate our results on the Quadratic Assignment Problem (a NP-Hard combinatorial problem) by showing that FGNNs are able to learn how to solve the problem, leading to much better average performances than existing algorithms (based on spectral, SDP or other GNNs architectures). On a practical side, we also implement masked tensors to handle batches of graphs of varying sizes.

研究动机与目标

• 开发一个用于比较不变性和等变GNN架构表达能力的理论框架。
• 为实际GNN提供近似保证，超越成对图可区分性。
• 确立同阶$ k $的Folklore GNN（FGNN）在所有同阶张量基GNN中表达能力最强。
• 将普遍性结果扩展至处理不同大小图的GNN。
• 在具有挑战性的组合优化问题——二次分配问题（QAP）上，实证验证理论发现。

提出的方法

• 作者将Stone-Weierstrass定理推广至对称函数，从而为不变性和等变GNN提供近似理论基础。
• 基于Weisfeiler-Lehman（WL）测试，定义了一个图不变量层次结构，具体为$(k+1)$-WL，用于衡量表达能力。
• 引入$ k $-FGNN作为通过矩阵乘法增强的张量基GNN，支持更高阶交互。
• 通过子代数和闭包论证，证明$ k $-FGNN能够近似任何低于$(k+1)$-WL的函数。
• 通过为图空间配备最终拓扑或图编辑距离，处理可变大小图，实现在不同图大小上的通用近似。
• 在实践中，通过引入掩码张量，高效处理具有不同大小的图批量。

实验结果

研究问题

• RQ1 实际GNN架构（如消息传递GNN、$ k $-LGNN和$ k $-FGNN）在近似不变性和等变函数方面的表达能力如何？
• RQ2 是否存在一种GNN架构，能够对不同大小的图近似所有低于$(k+1)$-WL的函数？
• RQ3 与$ k $-LGNN和消息传递GNN等架构相比，$ k $-FGNN的表达能力如何？
• RQ4 $ k $-FGNN是否能比现有GNN或经典算法更有效地学习解决NP难问题（如二次分配问题）？
• RQ5 当受限于有界张量阶时，GNN普遍性的理论基础是什么？

主要发现

• 同阶$ k $的Folklore GNN（FGNN）是给定$ k $下表达能力最强的张量基GNN架构，能够近似任何低于$(k+1)$-WL的函数。
• 论文证明，当$ k $趋于无穷时，$ k $-FGNN实现普遍性，扩展了先前对不可计算GNN类的普遍性结果。
• 在不变情形下，$ k $-FGNN能够近似任意满足$\rho(k\text{-FWL}_I) \subseteq \rho(f)$的函数$ f $，其中$\rho$表示函数的核。
• 在等变情形下，$ k $-FGNN能够近似任意满足$\rho(k\text{-FWL}_E) \subseteq \rho(f)$的等变函数$ f $，并将分析扩展至节点级预测。
• 实证结果表明，2-FGNN在二次分配问题上的平均性能优于标准消息传递GNN和经典算法（谱方法、SDP、其他GNN），表现更优。
• 通过图编辑距离和最终拓扑，将理论框架扩展至不同大小的图，确保近似结果在多样化图输入下依然成立。