[论文解读] A Theoretical Comparison of Graph Neural Network Extensions

Pál András Papp, Roger Wattenhofer|arXiv (Cornell University)|Jan 30, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了并比较了三种新型GNN扩展方法——子图预处理（Sₖ）、邻域预处理（Nₖ）和节点标记（Mₖ）——以克服标准GNN在1-WL测试下的局限性。该研究建立了一个新的表达能力层级，表明当k ≥ 3时，Sₖ严格优于Mₖ，且Mₖ能够区分Nₖ无法区分的图，同时证明Sₖ无法计数(k+1)-环，揭示了基于子图方法的根本限制。

ABSTRACT

We study and compare different Graph Neural Network extensions that increase the expressive power of GNNs beyond the Weisfeiler-Leman test. We focus on (i) GNNs based on higher order WL methods, (ii) GNNs that preprocess small substructures in the graph, (iii) GNNs that preprocess the graph up to a small radius, and (iv) GNNs that slightly perturb the graph to compute an embedding. We begin by presenting a simple improvement for this last extension that strictly increases the expressive power of this GNN variant. Then, as our main result, we compare the expressiveness of these extensions to each other through a series of example constructions that can be distinguished by one of the extensions, but not by another one. We also show negative examples that are particularly challenging for each of the extensions, and we prove several claims about the ability of these extensions to count cliques and cycles in the graph.

研究动机与目标

• 识别并形式化文献中增强GNN表达能力的三种主要方法：子图预处理（Sₖ）、邻域预处理（Nₖ）和节点标记（Mₖ）。
• 构建GNN扩展表达能力的新型、更精细的层级结构，超越粗粒度的k-WL层级。
• 通过可被一个方法区分但另一个无法区分的显式图构造，比较这些扩展方法的相对表达能力。
• 分析每种扩展方法在图分类和节点分类设置下对特定子结构（如团和环）的计数能力。

提出的方法

• 作者定义了三种GNN扩展方法：Sₖ处理大小不超过k的所有子图，Nₖ处理k跳以内的诱导邻域，Mₖ通过标记或移除k个节点实现对称性打破。
• 他们构造了特定的图对，这些图对在一种扩展下不可区分，但在另一种下可区分，利用不同长度的环和一个中心节点来打破对称性。
• 对于每种扩展方法，他们证明了在某些图变换（如环长变化）下的不变性，以揭示其在区分图方面的能力限制。
• 他们结合理论证明与引理（如引理C.1、C.2）表明，在特定条件下（如子图或邻域同构时），某些嵌入在图之间保持相同。
• 他们不仅将这些扩展方法相互比较，还与经典的k-WL层级进行对比，表明k-WL层级对于实际比较而言过于粗略。
• 通过构建包含多个不相交不同长度环的图，分析子图计数能力，证明Sₖ无法计数(k+1)-环，Nₖ无法计数(2k+2)-环。

实验结果

研究问题

• RQ1 Sₖ、Nₖ和Mₖ的表达能力如何相互比较？是否存在严格排序关系，还是存在相互不可比的情况？
• RQ2 k-WL层级能否作为评估GNN扩展方法的有意义基准？还是其粒度过粗，难以用于实际比较？
• RQ3 Sₖ、Nₖ和Mₖ在多大程度上能够对图中的特定子结构（如环或团）进行计数？
• RQ4 是否存在某一类扩展方法中严格优于其他方法的GNN扩展，例如Mₖ是否严格优于以往的对称性打破方法？
• RQ5 能否构造出一个图对，使得某一扩展可区分而另一扩展不可区分？这揭示了各方法的何种局限性？

主要发现

• 当k ≥ 3时，Sₖ严格优于Mₖ，其证明基于一个构造：Sₖ可区分两个具有2k+1长度环的图，而Mₖ无法区分。
• Mₖ严格优于Nₖ，其证明基于一个构造：Mₖ可区分两个具有长环的图，而Nₖ无法区分。
• Sₖ无法计数(k+1)-环，即使使用子图计数，原因在于不同长度环的图中存在同构子图。
• Nₖ无法计数(2k+2)-环，因为此类图中节点的k跳邻域在不同环长下彼此同构。
• 当k ≥ 3时，Sₖ可区分Mₖ无法区分的图，但反之不成立，这确立了Sₖ在该参数范围下对Mₖ的严格优越性。
• 该论文表明，在图分类设置下，Sₖ比Nₖ更具表达能力，即Sₖ₊₃ > Nₖ，尽管该结果的强度弱于其他比较结果。