[论文解读] Expressiveness and Approximation Properties of Graph Neural Networks

Floris Geerts, Juan L. Reutter|arXiv (Cornell University)|Apr 10, 2022

Ferroelectric and Negative Capacitance Devices被引用 7

一句话总结

本文提出一种张量语言框架，通过将图神经网络（GNN）的架构设计与Weisfeiler-Leman（WL）测试相联系，系统地分析其分离能力。通过将GNN表示为张量表达式，该方法能够快速确定其表达能力的界限——具体而言，表达式中索引的数量和求和嵌套深度直接决定了GNN是否受$k$-WL或$t$轮$k$-WL的限制，为GNN设计者提供了一种通用且直观的工具，而无需深入掌握WL理论。

ABSTRACT

Characterizing the separation power of graph neural networks (GNNs) provides an understanding of their limitations for graph learning tasks. Results regarding separation power are, however, usually geared at specific GNN architectures, and tools for understanding arbitrary GNN architectures are generally lacking. We provide an elegant way to easily obtain bounds on the separation power of GNNs in terms of the Weisfeiler-Leman (WL) tests, which have become the yardstick to measure the separation power of GNNs. The crux is to view GNNs as expressions in a procedural tensor language describing the computations in the layers of the GNNs. Then, by a simple analysis of the obtained expressions, in terms of the number of indexes and the nesting depth of summations, bounds on the separation power in terms of the WL-tests readily follow. We use tensor language to define Higher-Order Message-Passing Neural Networks (or k-MPNNs), a natural extension of MPNNs. Furthermore, the tensor language point of view allows for the derivation of universality results for classes of GNNs in a natural way. Our approach provides a toolbox with which GNN architecture designers can analyze the separation power of their GNNs, without needing to know the intricacies of the WL-tests. We also provide insights in what is needed to boost the separation power of GNNs.

研究动机与目标

• 为任意GNN架构提供一种通用且易于理解的方法，以评估其分离能力，而无需依赖复杂的WL理论证明。
• 通过在过程性张量语言中形式化GNN，弥合GNN设计与表达能力分析之间的鸿沟。
• 提供一个统一的框架，以恢复已知结果并解决GNN表达能力中的开放问题，例如不变图网络（IGN）的分离能力。
• 使GNN架构师能够通过对其模型张量表达式的简单句法分析，推理其表达能力的极限和普遍性。

提出的方法

• 作者定义了一种通用张量语言，专用于建模GNN计算，其中每一层均以包含变量、求和和聚合函数的张量表达式表示。
• 通过统计张量表达式中使用的不同索引数量来分析分离能力：$k+1$个索引意味着受$k$-WL限制。
• 求和嵌套深度决定了实现相同分离能力所需的$k$-WL轮数，深度$t$对应$t$轮$k$-WL。
• 该框架将$k$-MPNNs作为MPNNs的自然扩展，其中$k$-MPNNs通过具有$k+1$个索引和有界聚合深度的张量表达式定义。
• 张量语言的“受保护”片段对应于经典MPNNs，其分离能力受颜色细化（CR）限制，与1-WL相关联。
• 该方法允许通过分析其张量表达式结构，推导出GNN类的普遍性和近似界限结果。

实验结果

研究问题

• RQ1 如何通过一种通用的形式化方法，系统地界定任意GNN架构的分离能力？
• RQ2 GNN的张量表达式的句法结构与其在$k$-WL测试中的表达能力之间存在何种精确关系？
• RQ3 该框架能否解决GNN表达能力中的开放问题，例如不变图网络（IGNs）的确切分离能力？
• RQ4 GNN的张量表达式中求和的嵌套深度与其表达能力所需的$k$-WL轮数之间有何关系？
• RQ5 该方法能否恢复已知结果（如GCN、GIN和ChebNet），并将其推广至新架构？

主要发现

• 若GNN的张量表达式使用$k+1$个索引，则其分离能力受$k$-WL限制，提供了表达能力的直接句法判据。
• 为匹配GNN的分离能力，所需的$k$-WL轮数由其张量表达式中求和的最大嵌套深度决定。
• 该框架解决了开放问题：证明了不变图网络（IGNs）的分离能力受$(k-1)$-WL限制，而非如先前猜想的$k$-WL。
• 该方法恢复了已知结果：GCN和ChebNet受2-WL限制，而$\mathsf{CayleyNet}$亦通过此分析被证明受2-WL限制。
• 经典MPNNs对应于张量语言的受保护片段，其分离能力受颜色细化（1-WL）限制，与先前结果一致。
• 该框架可通过分析其张量表达式结构，推导出GNN类的普遍性和近似结果。