[论文解读] Building powerful and equivariant graph neural networks with structural message-passing

Clément Vignac, Andreas Loukas+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks被引用 23

一句话总结

该论文提出结构化消息传递（SMP），一种强大且置换等变的图神经网络，通过在消息传递过程中传播独热编码节点表示与特征，构建可学习的局部上下文矩阵，从而增强消息传递机制。SMP在分子图回归（ZINC）任务上达到最先进性能，并在合成图上检测拓扑性质（如环和连通性）方面优于先前方法。

ABSTRACT

Message-passing has proved to be an effective way to design graph neural networks, as it is able to leverage both permutation equivariance and an inductive bias towards learning local structures in order to achieve good generalization. However, current message-passing architectures have a limited representation power and fail to learn basic topological properties of graphs. We address this problem and propose a powerful and equivariant message-passing framework based on two ideas: first, we propagate a one-hot encoding of the nodes, in addition to the features, in order to learn a local context matrix around each node. This matrix contains rich local information about both features and topology and can eventually be pooled to build node representations. Second, we propose methods for the parametrization of the message and update functions that ensure permutation equivariance. Having a representation that is independent of the specific choice of the one-hot encoding permits inductive reasoning and leads to better generalization properties. Experimentally, our model can predict various graph topological properties on synthetic data more accurately than previous methods and achieves state-of-the-art results on molecular graph regression on the ZINC dataset.

研究动机与目标

• 解决标准消息传递GNN表达能力有限的问题，这些模型无法学习图的基本拓扑性质，如连通性、环和聚类系数。
• 通过引入一种结构化、置换等变的机制，在不破坏等变性的情况下利用节点标识符，克服等变GNN中表达能力与泛化能力之间的权衡。
• 通过构建对独热编码选择无关的局部上下文矩阵，实现归纳推理，从而提升对未见图结构的泛化能力。
• 设计一种严格强于MPNN的消息传递框架，同时保持局部性归纳偏置和计算效率。
• 在不使用专家化学特征的情况下，于真实世界分子图回归任务和合成拓扑任务上均实现最先进性能。

提出的方法

• 在每个节点处引入一个局部上下文矩阵，初始值为节点的独热编码及其特征，使模型能够捕获丰富的局部拓扑与特征信息。
• 通过保持置换等变性的消息传递机制传播该上下文矩阵：重排节点会置换矩阵行而不改变内容，从而确保等变性。
• 采用两阶段消息传递更新机制：首先，使用可学习权重和残差连接计算局部上下文的变换表示；其次，使用可学习的、等变操作聚合邻居消息。
• 通过设计对节点顺序不变的消息和更新函数，确保置换等变性，使用矩阵乘法和张量元素级操作等矩阵运算。
• 利用残差连接保留关键结构组件（邻接矩阵、单位矩阵、全1矩阵）在各层间的稳定性，实现稳定训练并访问全局结构信息。
• 将模型形式化为图结构上的可学习等变函数，证明当使用强大层时，SMP在等变函数空间中具有计算通用性。

实验结果

研究问题

• RQ1 能否设计一种消息传递GNN架构，使其严格优于MPNN，同时保持置换等变性和泛化能力？
• RQ2 能否以结构化且等变的方式使用独热节点编码，使模型学习到图的基本拓扑性质（如环和连通性）？
• RQ3 所提出的结构化消息传递框架是否在未见图结构上，特别是在归纳推理任务中，泛化能力优于以往的等变模型？
• RQ4 SMP能否在不依赖专家化学特征的情况下，于分子图回归任务上实现最先进性能？
• RQ5 与PPGN和Ring-GNN等强大GNN相比，SMP的计算效率和训练稳定性如何？

主要发现

• 在不使用专家特征的方法中，SMP在ZINC分子图回归基准上达到最先进性能，展现出强大的泛化能力与特征-拓扑融合能力。
• 在合成图任务中，SMP在所有测试配置下均成功检测到环，而其他强大模型（如Ring-GNN）在大图上失败，MPNN则完全失败，凸显其卓越的表达能力。
• SMP在训练稳定性和收敛速度方面优于PPGN和Ring-GNN，每轮训练时间与PPGN相当，且比Ring-GNN快2–3倍。
• 该模型能够准确学习最短路径距离和直径的计算，证明其可通过局部消息传递捕获全局结构特性。
• SMP的局部上下文矩阵支持归纳推理：表示结果与所用独热编码的具体形式无关，从而提升对未见图排序和结构的泛化能力。
• 理论分析表明，当使用强大层构建时，SMP在等变函数空间中具有计算通用性，证明其表达能力超越MPNN。