[论文解读] GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing

Wentao Zhang, Yu Shen+7 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Graph Neural Networks参考文献 36被引用 5

一句话总结

GMLP 提出了一种新颖的图多层感知机框架，将消息传递与神经网络更新解耦，通过预计算的特征-消息传递实现可扩展且灵活的图神经网络。通过将消息聚合与模型更新分离，GMLP 在 11 个基准数据集上实现了最先进性能，包括 ogbn-products，相较于 GraphSAGE 等现有方法，展现出更优的训练可扩展性和效率。

ABSTRACT

In recent studies, neural message passing has proved to be an effective way to design graph neural networks (GNNs), which have achieved state-of-the-art performance in many graph-based tasks. However, current neural-message passing architectures typically need to perform an expensive recursive neighborhood expansion in multiple rounds and consequently suffer from a scalability issue. Moreover, most existing neural-message passing schemes are inflexible since they are restricted to fixed-hop neighborhoods and insensitive to the actual demands of different nodes. We circumvent these limitations by a novel feature-message passing framework, called Graph Multi-layer Perceptron (GMLP), which separates the neural update from the message passing. With such separation, GMLP significantly improves the scalability and efficiency by performing the message passing procedure in a pre-compute manner, and is flexible and adaptive in leveraging node feature messages over various levels of localities. We further derive novel variants of scalable GNNs under this framework to achieve the best of both worlds in terms of performance and efficiency. We conduct extensive evaluations on 11 benchmark datasets, including large-scale datasets like ogbn-products and an industrial dataset, demonstrating that GMLP achieves not only the state-of-art performance, but also high training scalability and efficiency.

研究动机与目标

• 解决现有神经消息传递 GNN 在训练过程中因递归邻域扩展而带来的可扩展性限制。
• 克服固定跳数邻域聚合带来的僵化性，避免过度平滑或关键局部信息的丢失。
• 实现自适应、多尺度的消息聚合，以尊重节点特定的邻域需求，从而提升表征学习效果。
• 开发一种支持高训练可扩展性和效率的框架，同时保持或提升模型性能。
• 提供一种灵活的抽象，用于构建新型、可扩展的 GNN 变体，支持图级别和消息级别的自定义聚合器。

提出的方法

• 提出一种新的特征-消息传递（FMP）抽象，将消息传递与神经网络更新分离。
• 在训练前通过图聚合阶段预计算并分发消息，从而消除反向传播过程中重复的昂贵消息传递操作。
• 使用多个图聚合器，在不同局部范围（如 1 跳、2 跳，直至 T 跳邻域）生成消息。
• 采用可学习的消息聚合器（如自引导注意力机制），根据节点特定需求自适应地组合来自多跳的消息。
• 将更新函数与消息传递解耦，允许在消息聚合后使用标准前馈网络进行表征学习。
• 支持独立训练与分布式训练，通信开销极低，仅限于参数同步。

实验结果

研究问题

• RQ1 能否设计一种 GNN 框架，将消息传递与神经更新解耦，以提升训练可扩展性？
• RQ2 如何使 GNN 更灵活地处理不同节点间变化的邻域需求？
• RQ3 预计算的消息传递能否在减少训练时间和通信成本的同时，实现与迭代式消息传递相当或更优的性能？
• RQ4 自适应多跳消息聚合在不引起过度平滑的前提下，能在多大程度上提升大规模图上的性能？
• RQ5 与 SGC 和 GraphSAGE 等现有可扩展 GNN 相比，所提出的框架在准确性、效率和可扩展性方面表现如何？

主要发现

• GMLP 在 11 个基准数据集上实现了最先进性能，包括 ogbn-products，且相对于现有最先进方法保持一致的性能提升。
• 在 ogbn-products 数据集上，GMLP 即使在增加聚合步数的情况下仍能保持高测试准确率，而 GCN 和 ResGCN 因过度平滑导致性能下降。
• 在分布式训练中，GMLP 在最多 8 个工作节点下实现了接近线性的加速，而 GraphSAGE 因重复消息获取导致的 I/O 瓶颈而出现收益递减。
• GMLP 中的自引导注意力机制为 1 步和 2 步消息分配更高权重，从而保留局部结构信息，同时降低高阶度节点中远距离、噪声较大的消息的影响。
• GMLP 的预计算消息传递显著减少了训练时间，通信成本仅限于参数同步，而 GraphSAGE 的迭代式消息传递则存在更高的通信开销。
• 该框架支持构建新型 GNN 变体，在准确率与效率之间实现良好平衡，证明了可扩展性与性能可同时优化。