[论文解读] Democratizing Production-Scale Distributed Deep Learning

Minghuang Ma, Hadi Pouransari+6 more|arXiv (Cornell University)|Oct 31, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

Alchemist 是苹果公司开发的云原生、容器化分布式训练服务，通过抽象底层基础设施复杂性，简化了生产规模的深度学习。它支持跨多种框架和训练范式无缝扩展，在无精度损失的情况下，将自动驾驶系统中的训练时间缩短至原来的1/14。

ABSTRACT

The interest and demand for training deep neural networks have been experiencing rapid growth, spanning a wide range of applications in both academia and industry. However, training them distributed and at scale remains difficult due to the complex ecosystem of tools and hardware involved. One consequence is that the responsibility of orchestrating these complex components is often left to one-off scripts and glue code customized for specific problems. To address these restrictions, we introduce \emph{Alchemist} - an internal service built at Apple from the ground up for \emph{easy}, \emph{fast}, and \emph{scalable} distributed training. We discuss its design, implementation, and examples of running different flavors of distributed training. We also present case studies of its internal adoption in the development of autonomous systems, where training times have been reduced by 10x to keep up with the ever-growing data collection.

研究动机与目标

• 应对在不同团队和使用场景下大规模训练深度神经网络的日益增长的挑战。
• 通过抽象复杂的基础设施、数据和软件依赖，降低编排分布式训练的工程负担。
• 在本地部署和公有云环境中，实现一致、可复现且可移植的训练环境。
• 支持多种深度学习框架（例如，TensorFlow、PyTorch）和分布式训练范式（例如，同步SGD、异步SGD）。
• 通过大幅缩短训练时间，加速高数据环境（如自动驾驶系统）中的模型开发。

提出的方法

• 采用基于Kubernetes的云原生架构进行集群管理，并通过容器化实现软件环境的一致性。
• 提供交互式和批处理作业模式，以支持原型设计和大规模训练工作流。
• 与分布式文件系统集成，并暴露POSIX兼容接口，便于团队间轻松访问数据。
• 支持多种分布式训练算法，包括同步SGD、异步SGD、块动量SGD和弹性平均SGD。
• 自动化依赖管理，并确保开发、测试和生产环境中软件堆栈的一致性。
• 在应用层（例如，TensorBoard）和系统层（例如，GPU/CPU使用率、节点间通信）集成监控工具，用于性能调试。

实验结果

研究问题

• RQ1 统一系统如何降低在不同团队和框架之间编排分布式深度学习的复杂性？
• RQ2 哪些架构模式能够实现在生产环境中一致、可移植且可扩展的分布式训练？
• RQ3 在不牺牲模型精度的前提下，分布式训练能在多大程度上缩短墙钟时间？
• RQ4 不同分布式训练算法（例如，同步SGD与异步SGD）在收敛速度和吞吐量方面有何差异？
• RQ5 在同步SGD中，大批次训练的实际限制是什么，以及如何缓解这些限制？

主要发现

• 使用Alchemist，2D图像检测模型的训练时间相比基线单机设置缩短了10倍。
• 在8台机器共64块GPU的配置下，Alchemist将3D目标检测（VoxelNet）的训练时间相比4-GPU单机基线缩短了14倍。
• 使用64块GPU进行语义分割训练，相比4-GPU单机设置实现了11倍的加速，且精度无下降。
• 尽管吞吐量略低，同步SGD在收敛速度和最终精度方面优于异步变体。
• 当使用标准学习率缩放时，全局批量大小达到约10^3时，模型精度开始下降，表明大批次训练存在实际限制。
• 该系统成功实现了跨多个团队和复杂自动驾驶系统工作负载的可扩展、可复现且低摩擦的分布式训练。