[论文解读] Distributed Training Large-Scale Deep Architectures

Shang-Xuan Zou, Chun-Yen Chen+7 more|arXiv (Cornell University)|Aug 10, 2017

Advanced Neural Network Applications参考文献 36被引用 9

一句话总结

本文提出了通过有效配置分布式GPU和参数服务器资源来加速大规模深度学习训练的系统级指导原则。通过分析数据并行中的瓶颈并应用阿姆达尔定律，作者推导出优化小批量大小、GPU数量和参数服务器数量的公式，在真实模型（如AlexNet和ResNet）上实现了显著的加速效果。

ABSTRACT

Scale of data and scale of computation infrastructures together enable the current deep learning renaissance. However, training large-scale deep architectures demands both algorithmic improvement and careful system configuration. In this paper, we focus on employing the system approach to speed up large-scale training. Via lessons learned from our routine benchmarking effort, we first identify bottlenecks and overheads that hinter data parallelism. We then devise guidelines that help practitioners to configure an effective system and fine-tune parameters to achieve desired speedup. Specifically, we develop a procedure for setting minibatch size and choosing computation algorithms. We also derive lemmas for determining the quantity of key components such as the number of GPUs and parameter servers. Experiments and examples show that these guidelines help effectively speed up large-scale deep learning training.

研究动机与目标

• 识别分布式深度学习训练中阻碍数据并行性的系统级瓶颈和I/O开销。
• 基于数据集大小、硬件约束和模型特性，为高性能分布式训练系统配置提供实用且数据驱动的指导原则。
• 推导出用于确定最优GPU数量和参数服务器数量以最大化训练加速的分析公式。
• 通过调节小批量大小和网络带宽等关键系统参数，使实践者能够实现成本效益高、高利用率的训练。

提出的方法

• 作者通过在单GPU、多GPU和分布式配置下的基准测试，分析深度学习框架中的计算和通信瓶颈。
• 应用阿姆达尔定律来建模由于不可并行化组件导致的加速限制，推导出理论加速的公式，其作为可并行化部分比例和GPU数量的函数。
• 推导出一个关键公式：α = (1 + R_O) / (1 + G × R_O)，其中α为可实现的加速比例，G为GPU数量，R_O为开销比。
• 基于通信与计算时间的平衡，提出参数服务器数量（N_ps）的粗略估算方法，其中引理3.2提供了理论基础。
• 提出三项系统级建议：增加计算时间（T_C）以隐藏I/O开销，提升网络带宽（B_ps），以及在设备间均衡工作负载以避免I/O瓶颈。
• 该方法包括实用的调优策略，如在GPU内存限制内增加小批量大小，以及使用高速网络以减少通信延迟。

实验结果

研究问题

• RQ1 在大规模深度学习的分布式数据并行中，限制加速的主要系统级瓶颈是什么？
• RQ2 实践者如何最优地配置小批量大小和GPU数量，以最大化GPU利用率和训练吞吐量？
• RQ3 用于确定分布式训练中最小化通信开销所需参数服务器数量（N_ps）的理论和实际公式是什么？
• RQ4 I/O开销和通信瓶颈如何影响训练性能？哪些系统级配置可以缓解这些问题？

主要发现

• 作者基于阿姆达尔定律推导出理论加速的公式，表明即使使用大量GPU，通信和I/O等不可并行化组件仍会限制可扩展性。
• 研究证实，当计算时间（T_C）相对于开销（T_O）增加时，加速效果更优，因此建议采用更大的小批量以减少参数更新次数并隐藏I/O开销。
• 研究表明，网络带宽是关键瓶颈——例如，AlexNet的180MB参数更新超过1Gbps以太网的容量，因此需要高速网络。
• 当工作负载分布不均时，作者建议部署多于理论最小值的参数服务器，以隐藏I/O开销并提高系统利用率。
• 实验表明，遵循所提出的指导原则可显著缩短训练时间，尤其在适当调节小批量大小和网络带宽等系统参数时效果更明显。
• 推导出的参数服务器数量公式（N_ps）可确保通信时间相对于计算时间最小化，从而实现可扩展的分布式训练。