[论文解读] Let's Agree to Degree: Comparing Graph Convolutional Networks in the Message-Passing Framework

Floris Geerts, Filip Mazowiecki+1 more|arXiv (Cornell University)|Apr 6, 2020

Advanced Graph Neural Networks参考文献 17被引用 12

一句话总结

本文在消息传递神经网络（MPNN）框架下比较了图卷积网络（GCNs）与图神经网络（GNNs）的区分能力，表明由于具备度感知的消息传递机制，GCNs 比 Weisfeiler-Lehman（WL）算法领先一步；同时，Kipf 和 Welling 提出的可学习参数使 GCNs 能够模拟 WL 算法，从而达到其完整的区分能力。

ABSTRACT

In this paper we cast neural networks defined on graphs as message-passing neural networks (MPNNs) in order to study the distinguishing power of different classes of such models. We are interested in whether certain architectures are able to tell vertices apart based on the feature labels given as input with the graph. We consider two variants of MPNNS: anonymous MPNNs whose message functions depend only on the labels of vertices involved; and degree-aware MPNNs in which message functions can additionally use information regarding the degree of vertices. The former class covers a popular formalisms for computing functions on graphs: graph neural networks (GNN). The latter covers the so-called graph convolutional networks (GCNs), a recently introduced variant of GNNs by Kipf and Welling. We obtain lower and upper bounds on the distinguishing power of MPNNs in terms of the distinguishing power of the Weisfeiler-Lehman (WL) algorithm. Our results imply that (i) the distinguishing power of GCNs is bounded by the WL algorithm, but that they are one step ahead; (ii) the WL algorithm cannot be simulated by "plain vanilla" GCNs but the addition of a trade-off parameter between features of the vertex and those of its neighbours (as proposed by Kipf and Welling themselves) resolves this problem.

研究动机与目标

• 分析消息传递神经网络（MPNNs）在图表示学习中的区分能力。
• 从区分顶点和图的能力角度，比较匿名 MPNNs（涵盖标准 GNNs）与度感知 MPNNs（涵盖 GCNs）的性能。
• 确定 GCNs 是否能够模拟 Weisfeiler-Lehman（WL）算法，后者是图神经网络中区分能力的基准。
• 确定 GCNs 或 GNNs 在何种条件下可达到或超过 WL 算法的表达能力。
• 为 Kipf 和 Welling 提出的可学习参数在 GCNs 中的引入提供理论依据。

提出的方法

• 将 MPNNs 形式化为消息传递框架，区分无度信息的匿名 MPNNs 与含度信息的度感知 MPNNs。
• 以 Weisfeiler-Lehman（WL）算法作为区分能力的参考，通过顶点颜色细化过程将 MPNNs 与之对比。
• 证明匿名 MPNNs 的区分能力受限于 WL 算法，推广了先前的结果。
• 证明度感知 MPNNs 比 WL 算法领先一步，因为度信息从初始阶段即被使用，而 WL 需经过一次迭代后才推导出该信息。
• 基于线性代数公式（例如带可学习参数的归一化邻接矩阵）构建特定的 MPNN 架构，以模拟 WL 算法。
• 利用有理数和不等式相关的代数构造，证明某些参数选择可避免退化为更低的表达能力。

实验结果

研究问题

• RQ1 度感知 MPNNs（如 GCNs）是否能够超越 Weisfeiler-Lehman（WL）算法的区分能力？
• RQ2 标准 GCNs 是否能够模拟 WL 算法，还是需要额外的参数？
• RQ3 引入顶点度信息如何影响消息传递神经网络的区分能力？
• RQ4 GCNs 中是否存在特定的架构选择，使其能够匹配 WL 算法的表达能力？
• RQ5 能否基于 GNN 或 GCN 架构的 MPNN，将固定输入图的 WL 算法模拟推广至所有图？

主要发现

• 匿名 MPNNs（包括标准 GNNs）的区分能力受限于 Weisfeiler-Lehman（WL）算法。
• 度感知 MPNNs（如 GCNs）比 WL 算法领先一步，因为它们从初始阶段即使用顶点度信息，而 WL 需经过一次迭代后才推导出该信息。
• WL 算法可被度感知 MPNNs 模拟，但无法被无可学习参数的‘纯 vanilla’GCNs 模拟。
• 在 GCN 消息传递机制中增加可学习参数 $ p $（特别在 $ ( extbf{D} + p\textbf{I})^{-1/2} $ 中）可使模型在任意固定输入图上模拟 WL 算法。
• 理论分析确认，Kipf 和 Welling 提出的参数 $ p $ 对于 GCNs 达到 WL 算法的完整表达能力而言是必要且充分的。
• 基于线性代数公式的某些 MPNN 类别（如使用归一化邻接矩阵和可学习参数）可模拟 WL 算法，为其设计提供了理论依据。