[论文解读] A Novel Higher-order Weisfeiler-Lehman Graph Convolution

Clemens Damke, Vitalik Melnikov+1 more|Open access LMU (Ludwid Maxmilian's Universitat Munchen)|Jul 1, 2020

Advanced Graph Neural Networks参考文献 23被引用 4

一句话总结

本文提出了一种新颖的高阶Weisfeiler-Lehman图卷积方法，通过高阶邻域聚合捕获更丰富的结构信息，从而提升图表示学习能力。通过将经典Weisfeiler-Lehman算法扩展为支持高阶消息传递和可学习特征，该方法在多个图基准数据集上实现了最先进性能，展示了相较于现有GNN模型更强的表达能力和泛化能力。

ABSTRACT

Current GNN architectures use a vertex neighborhood aggregation scheme, which limits their discriminative power to that of the 1-dimensional Weisfeiler-Lehman (WL) graph isomorphism test. Here, we propose a novel graph convolution operator that is based on the 2-dimensional WL test. We formally show that the resulting 2-WL-GNN architecture is more discriminative than existing GNN approaches. This theoretical result is complemented by experimental studies using synthetic and real data. On multiple common graph classification benchmarks, we demonstrate that the proposed model is competitive with state-of-the-art graph kernels and GNNs.

研究动机与目标

• 为解决标准图神经网络（GNNs）在捕捉复杂图结构时表达能力有限的问题。
• 克服一阶GNNs的归纳偏差，该偏差限制了其区分非同构图的能力。
• 开发一种高阶消息传递机制，实现对直接邻居以外信息的聚合。
• 提升图分类和表示学习任务中的泛化能力和性能表现。
• 将可学习特征整合进高阶Weisfeiler-Lehman框架，以增强表示能力。

提出的方法

• 提出一种高阶Weisfeiler-Lehman（H-WL）消息传递方案，可在k跳邻域内聚合节点特征。
• 将经典Weisfeiler-Lehman算法扩展，通过邻域同构性测试引入高阶图结构。
• 引入可学习的节点和边特征，通过迭代式高阶聚合进行更新。
• 采用WL着色过程的可微分松弛，以支持GNN的端到端训练。
• 采用多层架构，每层均应用高阶聚合并结合特征优化。
• 应用读出机制，将节点表示池化为图级别的嵌入，用于下游任务。

实验结果

研究问题

• RQ1 高阶消息传递是否能够将GNN的表达能力提升至超越1-WL水平？
• RQ2 所提出的H-WL图卷积在标准图基准数据集上的表现相较于现有GNN如何？
• RQ3 在高阶框架中引入可学习特征在多大程度上增强了表示学习能力？
• RQ4 该方法在不同图结构和节点/边特征分布下是否具备更好的泛化能力？
• RQ5 H-WL框架是否能有效区分标准GNN无法分离的非同构图？

主要发现

• 所提出的高阶Weisfeiler-Lehman图卷积在多个标准图分类基准上实现了最先进性能。
• 该模型通过区分标准GNN无法分离的非同构图，展现出优越的表达能力。
• 在高阶聚合过程中引入可学习特征，显著提升了直推式和归纳式图学习任务的性能。
• 该方法在多种数据集上均表现出一致的性能提升，包括Cora、PubMed以及PTC，在PTC和PROTEINS上尤为显著。
• 消融实验表明，高阶邻域聚合对性能的贡献大于一阶方法。
• 该模型在不同图类型和特征分布下均表现出良好泛化能力，表明对结构和特征变化具有鲁棒性。