[论文解读] Deep Learning Training in Facebook Data Centers: Design of Scale-up and Scale-out Systems
本文介绍 Zion，Facebook 的规模化训练平台，具备 8 个 CPU 插槽和 8 个加速器，并讨论未来规模扩展训练深度学习推荐模型（DLRMs）的设计考虑，使用数据并行与模型并行、以及拓扑感知通信和 RDMA 传输。
Large-scale training is important to ensure high performance and accuracy of machine-learning models. At Facebook we use many different models, including computer vision, video and language models. However, in this paper we focus on the deep learning recommendation models (DLRMs), which are responsible for more than 50% of the training demand in our data centers. Recommendation models present unique challenges in training because they exercise not only compute but also memory capacity as well as memory and network bandwidth. As model size and complexity increase, efficiently scaling training becomes a challenge. To address it we design Zion - Facebook's next-generation large-memory training platform that consists of both CPUs and accelerators. Also, we discuss the design requirements of future scale-out training systems.
研究动机与目标
- 动机：推动数据中心中深度学习训练日益增长的计算和内存需求，尤其是针对 DLRMs。
- 描述 Zion 硬件平台及其内存/计算特征。
- 确定未来规模化训练系统的设计需求及它们对互连和加速器的影响。
提出的方法
- 描述 DLRM 工作负载及其密集特征与稀疏特征的混合，以及嵌入表。
- 解释数据并行和模型并行训练映射，以及 allreduce 和 alltoall 原语的使用。
- 给出具备 8 插槽 CPU 和 8 个加速器的 Zion 规模化设计，以及面向厂商无关加速器的 Open Accelerator Module (OAM)。
- 讨论互连网络选择（CPU 体系结构/网络，加速器互联，PCIe）及其对通信模式的影响。
- 提供对 allreduce 和 alltoall 的环形拓扑与全连通拓扑的分析比较，以说明拓扑对性能的影响。
实验结果
研究问题
- RQ1数据并行和模型并行策略如何映射到 DLRMs 的 allreduce 和 alltoall 通信？
- RQ2规模化平台（Zion）的设计对未来规模化训练系统有何影响？
- RQ3互连拓扑和传输如何影响分布式 DLRM 训练中的同步原语（allreduce/alltoall）？
- RQ4面向厂商无关加速器形态（OAM）在可扩展训练系统设计中起到的作用是什么？
主要发现
- DLRMs 由于嵌入表和密集的多层感知机（MLP）而同时需要数据并行和模型并行；嵌入驱动 alltoall 通信，而密集层驱动 allreduce。
- Zion 提供 8 个 CPU 插槽和 8 个加速器，突显 CPU 与加速器之间的内存/计算权衡。
- 异步训练在作业主机数量增加时吞吐量几乎线性扩展，但随着训练器数量增多，同步选项变得必要。
- 拓扑和传输选择（环形 vs 全连接，GDR/RDMA）显著影响 allreduce 和 alltoall 的性能，对较小消息的收益更大，alltoall 带宽在规模化时变得关键。
- Open Accelerator Module (OAM) 实现厂商无关的加速器集成，支持灵活、可扩展的训练架构。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。