[论文解读] Characterizing Deep Learning Training Workloads on Alibaba-PAI

Mengdi Wang, Chen Meng+5 more|arXiv (Cornell University)|Oct 14, 2019

Advanced Neural Network Applications参考文献 48被引用 5

一句话总结

本文提出了一套轻量级的分析框架，用于表征阿里巴巴-PAI平台上深度学习训练工作负载的特性，识别出通信开销为主要瓶颈。通过在多种工作负载上建模执行时间，发现权重/梯度通信平均占总训练时间的62%，通过使用100 Gbps以太网可实现1.7倍的加速，且60%的参数服务器/工作节点工作负载在采用NVLink的AllReduce时可获益。

ABSTRACT

Modern deep learning models have been exploited in various domains, including computer vision (CV), natural language processing (NLP), search and recommendation. In practical AI clusters, workloads training these models are run using software frameworks such as TensorFlow, Caffe, PyTorch and CNTK. One critical issue for efficiently operating practical AI clouds, is to characterize the computing and data transfer demands of these workloads, and more importantly, the training performance given the underlying software framework and hardware configurations. In this paper, we characterize deep learning training workloads from Platform of Artificial Intelligence (PAI) in Alibaba. We establish an analytical framework to investigate detailed execution time breakdown of various workloads using different training architectures, to identify performance bottleneck. Results show that weight/gradient communication during training takes almost 62% of the total execution time among all our workloads on average. The computation part, involving both GPU computing and memory access, are not the biggest bottleneck based on collective behavior of the workloads. We further evaluate attainable performance of the workloads on various potential software/hardware mappings, and explore implications on software architecture selection and hardware configurations. We identify that 60% of PS/Worker workloads can be potentially sped up when ported to the AllReduce architecture exploiting the high-speed NVLink for GPU interconnect, and on average 1.7X speedup can be achieved when Ethernet bandwidth is upgraded from 25 Gbps to 100 Gbps.

研究动机与目标

• 理解在阿里巴巴PAI平台上运行的真实世界深度学习训练工作负载中的性能瓶颈。
• 识别在大规模AI集群中，计算、内存访问还是通信主导了性能表现。
• 利用分析建模预测不同软硬件配置下的性能提升。
• 基于工作负载特性，为系统架构和硬件资源配置决策提供指导。

提出的方法

• 轻量级性能剖析框架从阿里巴巴-PAI上的数千个生产训练任务中收集运行时指标。
• 将工作负载执行时间分解为计算、数据I/O和权重/梯度通信阶段。
• 基于关键工作负载特征构建分析性能模型，以预测不同系统配置下的行为表现。
• 模型预测不同架构（如参数服务器/工作节点 vs. AllReduce）和硬件（如25 Gbps至100 Gbps以太网、NVLink）下的性能增益。
• 通过测试平台实验验证模型准确性，结果显示估计值与实际性能之间的平均误差低于10%。
• 在工作负载特定瓶颈的背景下，评估了混合精度训练和XLA操作融合等优化技术。

实验结果

研究问题

• RQ1 在阿里巴巴-PAI上的真实世界深度学习训练工作负载中，主导性能瓶颈是什么？
• RQ2 通信开销——特别是权重/梯度传输——与计算和I/O相比，在执行时间中的占比如何？
• RQ3 从参数服务器/工作节点架构迁移到采用高速GPU互连的AllReduce架构，能带来多大的性能提升？
• RQ4 将网络带宽从25 Gbps升级至100 Gbps，对不同工作负载的训练性能有何影响？
• RQ5 分析模型在多大程度上能准确预测系统配置变更带来的实际性能改进？

主要发现

• 在所有工作负载中，权重/梯度通信平均占总训练时间的62%，是主要性能瓶颈。
• 尽管GPU利用率很高，计算和内存访问并非主要瓶颈，表明通信是关键约束。
• 将网络从25 Gbps升级至100 Gbps以太网，可在各类工作负载上实现平均1.7倍的加速。
• 在采用NVLink的GPU互连下，60%的参数服务器/工作节点工作负载在迁移到AllReduce架构后可获得显著加速。
• 分析模型对实际性能的预测误差平均低于10%，验证了其在优化指导中的准确性。
• 在梯度通信优化后，数据I/O在分布式工作负载中可能成为潜在瓶颈，尤其在单节点场景下。