[论文解读] Building powerful and equivariant graph neural networks with message-passing

Clément Vignac, Andreas Loukas+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks参考文献 23被引用 5

一句话总结

该论文提出了一种新颖的消息传递图神经网络，通过在传播节点独热编码的同时保留特征，构建局部上下文矩阵，从而增强表示能力并实现排列等变性。该方法在分子图回归（ZINC）任务上取得了最先进性能，并在合成数据上准确预测了图的拓扑属性。

ABSTRACT

Message-passing has proved to be an effective way to design graph neural networks, as it is able to leverage both permutation equivariance and an inductive bias towards learning local structures in order to achieve good generalization. However, current message-passing architectures have a limited representation power and fail to learn basic topological properties of graphs. We address this problem and propose a powerful and equivariant message-passing framework based on two ideas: first, we propagate a one-hot encoding of the nodes, in addition to the features, in order to learn a local context matrix around each node. This matrix contains rich local information about both features and topology and can eventually be pooled to build node representations. Second, we propose methods for the parametrization of the message and update functions that ensure permutation equivariance. Having a representation that is independent of the specific choice of the one-hot encoding permits inductive reasoning and leads to better generalization properties. Experimentally, our model can predict various graph topological properties on synthetic data more accurately than previous methods and achieves state-of-the-art results on molecular graph regression on the ZINC dataset.

研究动机与目标

• 解决现有消息传递图神经网络在捕捉图基本拓扑属性方面的表示能力有限的问题。
• 通过结构化消息函数和更新函数的参数化，增强图神经网络的排列等变性。
• 通过使表示独立于特定的独热编码选择，实现归纳推理。
• 提升图表示学习任务中的泛化能力和性能表现，特别是在合成图和分子图设置中。

提出的方法

• 在传播节点特征的同时，传播节点的独热编码，为每个节点构建局部上下文矩阵。
• 利用局部上下文矩阵通过池化操作丰富节点表示，同时捕捉特征和拓扑信息。
• 通过特定的参数化方式设计消息函数和更新函数，以确保排列等变性。
• 采用对独热编码选择保持不变的表示，以支持归纳推理并提升泛化能力。
• 将该框架应用于合成图拓扑预测和真实世界分子图回归任务。

实验结果

研究问题

• RQ1 消息传递图神经网络能否在学习连通性、环检测等图拓扑属性方面变得更强大？
• RQ2 在显著提升表示能力的同时，如何保持图神经网络的排列等变性？
• RQ3 引入独热编码传播在多大程度上能提升图学习中的泛化能力和归纳推理能力？
• RQ4 该框架能否在ZINC等基准分子图回归数据集上实现最先进性能？

主要发现

• 所提出的模型在ZINC分子图回归基准上取得了最先进性能。
• 在合成数据上，其对多种图拓扑属性的预测精度高于先前方法。
• 独热编码传播的使用使模型能够学习到更丰富的局部结构上下文。
• 消息函数和更新函数的参数化确保了强排列等变性。