[论文解读] Accelerated Training for CNN Distributed Deep Learning through Automatic Resource-Aware Layer Placement

Jay Park, Sunghwan Kim+3 more|arXiv (Cornell University)|Jan 17, 2019

Advanced Neural Network Applications被引用 8

一句话总结

本文提出资源感知层放置（RALP）方法，通过根据计算和通信特性在工作节点与参数服务器之间智能地分配层，以加速分布式CNN训练。通过将全连接层放置在参数服务器上，将卷积/池化层分组在工作节点上，RALP减少了网络流量并提升了可扩展性，在实验中相比基线TensorFlow和Horovod实现了最高13倍的加速。

ABSTRACT

The Convolutional Neural Network (CNN) model, often used for image classification, requires significant training time to obtain high accuracy. To this end, distributed training is performed with the parameter server (PS) architecture using multiple servers. Unfortunately, scalability has been found to be poor in existing architectures. We find that the PS network is the bottleneck as it communicates a large number of gradients and parameters with the many workers. This is because synchronization with the many workers has to occur at every step of training. Depending on the model, communication can be in the several hundred MBs per synchronization. In this paper, we propose a scheme to reduce network traffic through layer placement that considers the resources that each layer uses. Through analysis of the characteristics of CNN, we find that placement of layers can be done in an effective manner. We then incorporate this observation within the TensorFlow framework such that layers can be automatically placed for more efficient training. Our evaluation making use of this placement scheme show that training time can be significantly reduced without loss of accuracy for many CNN models.

研究动机与目标

• 解决使用参数服务器架构进行分布式CNN训练时的网络通信瓶颈问题。
• 在数据并行的分布式深度学习设置中提升可扩展性并缩短训练时间。
• 开发一种系统化、资源感知的层放置策略，综合考虑计算与通信成本。
• 将该放置方案无缝集成到TensorFlow框架中，以支持实际部署。
• 在真实分布式环境下，评估不同CNN架构下层放置策略的有效性。

提出的方法

• 分析CNN层的特性，识别通信与计算不平衡问题，尤其关注全连接层的影响。
• 提出一种成本模型，基于计算开销与网络流量评估层放置决策。
• 设计RALP，将全连接层放置在参数服务器上，将卷积/池化层分组在工作节点上，以最小化数据传输。
• 在TensorFlow中实现RALP方案，实现在模型构建过程中自动、动态的层放置。
• 使用RALP分析器确定层拆分是否具有优势，避免不必要的开销。
• 与现有优化技术（如梯度量化和稀疏化）集成，进一步减少通信量。

实验结果

研究问题

• RQ1 不同CNN层的计算与通信特性如何影响分布式训练性能？
• RQ2 将全连接层放置在参数服务器上是否能显著减少数据并行训练中的网络流量？
• RQ3 何种标准可判断层放置优化能带来可测量的性能提升？
• RQ4 与Horovod等最先进框架相比，RALP在可扩展性与训练速度方面表现如何？
• RQ5 在哪些CNN架构中，资源感知的层放置能带来最显著的性能提升？

主要发现

• RALP通过将全连接层战略性地放置在参数服务器上，显著减少大规模梯度传输，从而降低网络流量，尽管其计算开销较小。
• 与基线TensorFlow实现相比，RALP在多个CNN模型上实现了最高13倍的训练时间加速。
• RALP在可扩展性方面优于Horovod，因为其网络开销与模型大小无关，而Horovod采用的环形归约方式则与模型大小相关。
• 并非所有模型收益均等——性能提升取决于层的特性，具有大尺寸全连接层的模型表现出最显著的改进。
• RALP分析器能有效识别最优的放置位置，防止因不必要的层拆分导致性能下降。
• RALP与梯度优化技术（如量化和稀疏化）兼容，可进一步减少通信开销。