[论文解读] Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources

Haibin Lin, Hang Zhang+5 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 44被引用 14

一句话总结

该论文提出动态SGD，一种在弹性分布式训练过程中平滑调整学习率的方法，以在GPU数量动态变化时稳定优化过程。通过补偿因小批量大小变化导致的随机动量估计中的噪声，动态SGD在图像分类、目标检测和语义分割等任务中实现了与静态训练相当的训练稳定性和模型精度，即使GPU规模从8个扩展到128个也表现良好。

ABSTRACT

With an increasing demand for training powers for deep learning algorithms and the rapid growth of computation resources in data centers, it is desirable to dynamically schedule different distributed deep learning tasks to maximize resource utilization and reduce cost. In this process, different tasks may receive varying numbers of machines at different time, a setting we call elastic distributed training. Despite the recent successes in large mini-batch distributed training, these methods are rarely tested in elastic distributed training environments and suffer degraded performance in our experiments, when we adjust the learning rate linearly immediately with respect to the batch size. One difficulty we observe is that the noise in the stochastic momentum estimation is accumulated over time and will have delayed effects when the batch size changes. We therefore propose to smoothly adjust the learning rate over time to alleviate the influence of the noisy momentum estimation. Our experiments on image classification, object detection and semantic segmentation have demonstrated that our proposed Dynamic SGD method achieves stabilized performance when varying the number of GPUs from 8 to 128. We also provide theoretical understanding on the optimality of linear learning rate scheduling and the effects of stochastic momentum.

研究动机与目标

• 解决在训练过程中动态分配或释放训练资源（GPU）时深度学习优化不稳定的挑战。
• 识别出线性学习率缩放在弹性环境中失效的原因，即未考虑随机动量估计中的噪声。
• 开发一种方法，通过随时间更平滑地调整学习率，实现在动态资源分配下的训练稳定。
• 在包括图像分类、目标检测和语义分割在内的多样化计算机视觉任务中，实证验证所提方法的有效性。
• 为线性学习率调度的最优性以及随机动量在动态训练环境中的影响提供理论见解。

提出的方法

• 提出动态SGD，一种学习率自适应策略，通过随时间渐进调整学习率，以抵消动态小批量大小变化期间动量估计中噪声的累积。
• 引入一种平滑的非线性学习率调度策略，考虑了动量噪声随小批量大小反向缩放的特性，与标准线性缩放不同。
• 采用带动量的同步随机梯度下降，其中学习率根据当前GPU数量和小批量大小变化的历史进行调制。
• 采用动态调度策略，每隔若干个周期（例如每5个周期）改变一次GPU数量，以模拟真实世界的弹性训练环境。
• 将方法应用于标准深度学习模型，包括ResNet-50、MobileNet、InceptionV3、SSD和FCN，采用同步批量归一化和余弦学习率衰减。
• 理论分析支持线性学习率调度的最优性，并解释了在动态设置中动量噪声的不稳定影响。

实验结果

研究问题

• RQ1 为何在GPU数量动态变化时，线性学习率缩放在弹性分布式训练中会失效？
• RQ2 随机动量估计中的噪声如何影响动态小批量大小自适应过程中的模型收敛？
• RQ3 是否可以通过平滑的时间依赖学习率调整来稳定弹性分布式环境中的训练？
• RQ4 动态SGD在多样化视觉任务中，其模型精度与静态训练相比能达到何种程度的匹配？
• RQ5 在不同GPU规模（例如8到128个GPU）下，所提方法与线性缩放和静态基线相比表现如何？

主要发现

• 即使在扩展到128个GPU时，动态SGD在所有评估任务中仍能实现与1×小批量大小（例如1K）静态训练相当的模型精度。
• 在ImageNet上，当GPU规模从8个扩展到128个时，动态SGD的top-1精度仅比静态基线低0.1%（30.1% mAP），而线性缩放则显著下降。
• 在MS-COCO上，动态SGD在12×规模下达到30.1 mAP，在16×规模下达到29.6 mAP，优于线性缩放（16×规模下为20.2 mAP）。
• 在ADE20K语义分割任务中，动态SGD在12×规模下达到79.07% pixAcc和39.34% mIoU，与静态基线（78.99% pixAcc，39.48% mIoU）相当，并优于线性缩放。
• 即使在未对大规模小批量的批量归一化统计量进行补偿的情况下，该方法仍能稳定训练，尤其在采用同步批量归一化的FCN类模型中表现突出。
• 理论分析证实，动量噪声与小批量大小成反比，从而为动态环境中非线性学习率自适应的必要性提供了理论依据。