[论文解读] A Comprehensive Survey on Distributed Training of Graph Neural Networks

Haiyang Lin, Mingyu Yan+5 more|arXiv (Cornell University)|Nov 10, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文对图神经网络（GNN）的分布式训练进行了全面综述，对工作流、计算与通信模式以及优化技术进行了分类。文章强调了过平滑和通信开销等关键挑战，并指出了在深层GNN和大规模图学习中的模型并行化方面的机遇。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to be a powerful algorithmic model in broad application fields for their effectiveness in learning over graphs. To scale GNN training up for large-scale and ever-growing graphs, the most promising solution is distributed training which distributes the workload of training across multiple computing nodes. At present, the volume of related research on distributed GNN training is exceptionally vast, accompanied by an extraordinarily rapid pace of publication. Moreover, the approaches reported in these studies exhibit significant divergence. This situation poses a considerable challenge for newcomers, hindering their ability to grasp a comprehensive understanding of the workflows, computational patterns, communication strategies, and optimization techniques employed in distributed GNN training. As a result, there is a pressing need for a survey to provide correct recognition, analysis, and comparisons in this field. In this paper, we provide a comprehensive survey of distributed GNN training by investigating various optimization techniques used in distributed GNN training. First, distributed GNN training is classified into several categories according to their workflows. In addition, their computational patterns and communication patterns, as well as the optimization techniques proposed by recent work are introduced. Second, the software frameworks and hardware platforms of distributed GNN training are also introduced for a deeper understanding. Third, distributed GNN training is compared with distributed training of deep neural networks, emphasizing the uniqueness of distributed GNN training. Finally, interesting issues and opportunities in this field are discussed.

研究动机与目标

• 为应对分布式GNN训练研究中日益增长的复杂性和碎片化问题，这些问题阻碍了新手对工作流、模式和优化策略的理解。
• 基于执行工作流，系统性地对分布式GNN训练方法进行分类，包括全批量和小批量训练范式。
• 分析不同分布式训练方法中的计算与通信模式，重点强调内存和通信开销等性能瓶颈。
• 将分布式GNN训练与分布式深度神经网络（DNN）训练进行对比，突出图结构和消息传递带来的独特挑战。
• 识别开放性问题和未来研究机会，特别是在支持深层GNN架构和可扩展模型并行化方面。

提出的方法

• 本文将分布式GNN训练分类为基于分发工作负载的全批量训练和基于预设工作负载的全批量训练，以及基于单样本的小批量训练和基于联合样本的小批量训练。
• 分析GNN中的计算模式，如聚合与组合操作，以及涉及节点间特征和梯度交换的通信模式。
• 综述了优化技术，包括激活重计算、小批量流水线处理以及数据缓存，以降低通信和内存开销。
• 评估了分布式GNN训练中使用的软件框架和硬件平台，分析其对系统效率的影响。
• 与分布式DNN训练进行对比，强调由于图特有的数据依赖性和非欧几里得结构带来的差异。
• 讨论了新兴趋势，如更深层的GNN模型以及流水线并行和模型并行的潜力，以克服性能退化问题。

实验结果

研究问题

• RQ1 如何基于工作流和执行模型对分布式GNN训练进行系统性分类？
• RQ2 分布式GNN训练中的主导计算与通信模式是什么？它们与分布式DNN训练中的模式有何不同？
• RQ3 哪些优化技术能有效降低分布式GNN训练中的通信和内存开销？
• RQ4 过平滑和欠传播等性能退化问题如何影响分布式训练策略？
• RQ5 在大规模图上扩展GNN的未来研究方向中，哪些最具前景？

主要发现

• 尽管在模型划分方面存在挑战，分布式小批量训练目前仍占主导地位，因其与DNN中的数据并行性相似。
• GNN中的性能退化问题——特别是过平滑和欠传播——限制了模型深度，通常将模型限制在2至4层。
• DropEdge和DropNode等技术可缓解过平滑问题，而虚拟边和超顶点则有助于解决长距离依赖问题。
• 通信和内存开销仍是主要瓶颈，推动了激活重计算、流水线传输和数据缓存等研究。
• 随着更深层GNN模型的兴起，模型并行和流水线并行将更受青睐，优化重点将从数据划分转向模型划分。
• 尽管进展迅速，但在大规模图上实现可扩展、高效且通用的分布式训练框架方面，仍存在显著的研究空白。