[论文解读] Dynamic Stale Synchronous Parallel Distributed Training for Deep Learning

Xing Zhao, Aijun An+2 more|arXiv (Cornell University)|Aug 16, 2019

Advanced Neural Network Applications参考文献 37被引用 4

一句话总结

本文提出动态迟滞同步并行（DSSP），一种用于深度学习的新型分布式训练范式，该范式根据工作节点的处理时间动态调整运行时的迟滞阈值，从而消除手动超参数调优的需要。DSSP通过减少同步等待时间，在保持收敛保证的同时，提升了收敛速度与准确性——尤其在异构GPU环境中表现更优，其在稳定性与性能方面均优于SSP、BSP和ASP。

ABSTRACT

Deep learning is a popular machine learning technique and has been applied to many real-world problems. However, training a deep neural network is very time-consuming, especially on big data. It has become difficult for a single machine to train a large model over large datasets. A popular solution is to distribute and parallelize the training process across multiple machines using the parameter server framework. In this paper, we present a distributed paradigm on the parameter server framework called Dynamic Stale Synchronous Parallel (DSSP) which improves the state-of-the-art Stale Synchronous Parallel (SSP) paradigm by dynamically determining the staleness threshold at the run time. Conventionally to run distributed training in SSP, the user needs to specify a particular staleness threshold as a hyper-parameter. However, a user does not usually know how to set the threshold and thus often finds a threshold value through trial and error, which is time-consuming. Based on workers' recent processing time, our approach DSSP adaptively adjusts the threshold per iteration at running time to reduce the waiting time of faster workers for synchronization of the globally shared parameters, and consequently increases the frequency of parameters updates (increases iteration throughput), which speedups the convergence rate. We compare DSSP with other paradigms such as Bulk Synchronous Parallel (BSP), Asynchronous Parallel (ASP), and SSP by running deep neural networks (DNN) models over GPU clusters in both homogeneous and heterogeneous environments. The results show that in a heterogeneous environment where the cluster consists of mixed models of GPUs, DSSP converges to a higher accuracy much earlier than SSP and BSP and performs similarly to ASP. In a homogeneous distributed cluster, DSSP has more stable and slightly better performance than SSP and ASP, and converges much faster than BSP.

研究动机与目标

• 为解决在迟滞同步并行（SSP）训练中手动选择最优迟滞阈值的挑战，该过程耗时且常不理想。
• 通过基于工作节点实时性能动态调整迟滞阈值，减少快速工作节点的同步等待时间。
• 在GPU处理能力差异显著的异构环境中，提升训练收敛速度与准确性。
• 在保持理论收敛保证的同时，相比BSP、ASP和SSP等现有范式，增强实际灵活性与稳定性。
• 提供一种轻量级、自适应的机制，每轮迭代动态调整阈值，无需预先了解系统异构性。

提出的方法

• DSSP在每次迭代中基于工作节点的实时处理时间测量，动态确定每个工作节点的迟滞阈值。
• 该算法基于工作节点的近期处理时间计算本地迟滞阈值 $ s_L $，使快速工作节点可在动态调整的延迟范围内无需等待慢速节点即可继续执行。
• 使用全局阈值 $ r $ 限制所有工作节点可接受的最大迟滞程度，确保收敛稳定性。
• 该方法与参数服务器框架集成，工作节点推送梯度并拉取更新的全局权重，同步由动态阈值控制。
• 该方法采用轻量级运行时自适应机制，避免昂贵的重新训练或超参数搜索。
• 理论分析表明，DSSP继承了SSP的遗憾界，只要阈值范围保持恒定，即可保证收敛。

实验结果

研究问题

• RQ1 如何在运行时自动确定SSP中的迟滞阈值，以减少手动调优的开销？
• RQ2 动态阈值调整是否能提升异构GPU集群中的收敛速度与准确性？
• RQ3 在同构与异构环境中，DSSP与BSP、ASP和SSP在训练速度、准确率与稳定性方面有何对比？
• RQ4 全连接层对不同分布式范式收敛趋势的影响是什么？
• RQ5 在网络条件波动或工作节点速度不稳定的条件下，DSSP能否保持高性能？

主要发现

• 在配备GTX1060与GTX1080 Ti的异构GPU集群中，DSSP在3046.3秒内收敛至0.68的测试准确率，显著快于使用 $ s=15 $ 的SSP（耗时7255.6秒）。
• 在异构环境中，DSSP的测试准确率高于SSP与BSP，而ASP虽最快，但因过度迟滞导致收敛准确率较低。
• 在同构集群中，DSSP表现更稳定且略优于SSP与ASP，且远快于BSP。
• DSSP在3016.4秒内达到0.67的准确率，与ASP速度相当，但准确率更高且收敛更稳定。
• 在CIFAR-100上的ResNet-110实验中，DSSP优于使用 $ s=3 $ 的SSP，以更快的速度达到更高准确率，即使SSP已使用最优阈值调优。
• 结果表明，DSSP在不同硬件配置下均保持一致的高性能表现，而ASP在配置不平衡环境中因高迟滞而性能下降。