[论文解读] COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training

Divya Kiran Kadiyala, Saeed Rashidi+4 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Data Processing Techniques被引用 5

一句话总结

COMET 是一种整体性、基于工作流的方法，用于快速探索分布式深度学习训练集群的设计空间，联合优化并行策略（数据并行/模型并行）与集群资源配置（计算、内存、网络）。该方法使系统设计者能够识别最优配置——例如 Dojo 集群上的 MP8_DP8 或 TPU 集群的内存扩展需求——相比基线配置最高可实现 3.1× 的加速。

ABSTRACT

Modern Deep Learning (DL) models have grown to sizes requiring massive clusters of specialized, high-end nodes to train. Designing such clusters to maximize both performance and utilization--to amortize their steep cost--is a challenging task requiring careful balance of compute, memory, and network resources. Moreover, a plethora of each model's tuning knobs drastically affect the performance, with optimal values often depending on the underlying cluster's characteristics, which necessitates a complex cluster-workload co-design process. To facilitate the design space exploration of such massive DL training clusters, we introduce COMET, a holistic cluster design methodology and workflow to jointly study the impact of parallelization strategies and key cluster resource provisioning on the performance of distributed DL training. We develop a step-by-step process to establish a reusable and flexible methodology, and demonstrate its application with case studies of training large models on cluster configurations of variable compute, memory, and network resources. Our case studies demonstrate COMET's utility in identifying promising architectural optimization directions and guiding system designers in configuring key model and cluster parameters. To illustrate, cluster configuration comparisons identify performance differences of up to 7.7x and highlight performance optimization opportunities of up to 1.4x when employing memory expansion as an optimization technique.

研究动机与目标

• 解决设计高成本、大规模分布式深度学习集群的挑战，以最大化性能与资源利用率。
• 克服在模型并行策略与集群硬件特性（计算、内存、网络）之间协同设计的复杂性。
• 实现对并行度与集群资源配置组合的庞大设计空间的快速探索。
• 为系统架构师提供可操作的洞察，包括最优集群配置以及新兴技术（如基于 CXL 的内存层次结构）的影响。
• 为深度学习工程师提供最优训练策略选择指导，同时为集群设计者提供高效资源配置的建议。

提出的方法

• 将大型模型（如 Transformer-1T）分解为层，以分析不同并行策略下的训练行为。
• 使用关键系统参数建模集群工作负载：峰值性能、内存容量、内存带宽、片上 SRAM 和网络带宽。
• 实施分步工作流，评估不同数据并行度（DP）与模型并行度（MP）下的训练性能与内存需求。
• 通过不同集群配置（如 TPU v4、Dojo D1）之间的归一化运行时间对比，识别性能瓶颈与最优配置。
• 模拟集合通信模式（如逻辑环形）并建模网络拓扑（3D 环形、单级交换机），以评估通信开销。
• 集成内存扩展技术（如容量提升 1.6 倍）以评估其对训练性能与内存内训练可行性的影响力。

实验结果

研究问题

• RQ1 在不同集群架构上，数据并行与模型并行的不同程度如何影响训练性能与内存利用率？
• RQ2 为高效训练 1T 参数的 Transformer 模型，计算、内存与网络资源的最优平衡配置是什么？
• RQ3 在每节点内存受限的集群中，哪些配置下内存扩展技术（如容量增加）能显著提升训练性能？
• RQ4 不同集群拓扑（如 3D 环形 vs. 单一交换机）与网络带宽如何影响通信开销与整体训练时间？
• RQ5 新兴内存技术（如基于 CXL 的层次结构）在大规模分布式训练中能在多大程度上提升性能？

主要发现

• Dojo 集群通过采用 MP8_DP8 实现了相比 DGX A100 基线 3.1× 的加速，甚至优于最佳性能的 DGX 配置。
• 在 TPU v4 集群上，最优配置为 MP4_DP1024，因其呈现浴盆形性能曲线；但当并行度超过 MP256_DP16 时，性能显著下降，原因在于每节点内存容量有限。
• 若 TPU 集群中每节点内存容量提升 1.6 倍，将可支持 MP64_DP64 训练，其速度相比 MP256_DP16 快 3 倍，充分体现了内存扩展的显著影响。
• Dojo 集群在并行度增加时未表现出训练时间的浴盆形曲线，因其具备高主频性能与大容量片上 SRAM，可无性能损失地吸收更高的计算负载。
• 在每节点内存受限的集群中，内存容量是关键瓶颈，因此内存扩展对实现更高并行度与降低通信开销至关重要。
• 该方法成功识别出：当内存容量不足时，通信模式会主导训练时间，尤其在模型并行场景下，由于节点间通信频率高，影响尤为显著。