[论文解读] Model Accuracy and Runtime Tradeoff in Distributed Deep Learning:A Systematic Study

Suyog Gupta, Wei Zhang+1 more|arXiv (Cornell University)|Sep 14, 2015

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

该论文提出Rudra框架，这是一个基于参数服务器的系统，系统性地研究了分布式深度学习中模型准确率与训练运行时间之间的权衡。该框架引入了一种对延迟敏感的学习率调节机制和一种softsync协议，以减少梯度延迟，发现随着学习者数量的增加，通过减小每个学习者的小批量大小，可在保持准确率的同时实现更快的训练速度——揭示了有效并行性的实际上限。

ABSTRACT

This paper presents Rudra, a parameter server based distributed computing framework tuned for training large-scale deep neural networks. Using variants of the asynchronous stochastic gradient descent algorithm we study the impact of synchronization protocol, stale gradient updates, minibatch size, learning rates, and number of learners on runtime performance and model accuracy. We introduce a new learning rate modulation strategy to counter the effect of stale gradients and propose a new synchronization protocol that can effectively bound the staleness in gradients, improve runtime performance and achieve good model accuracy. Our empirical investigation reveals a principled approach for distributed training of neural networks: the mini-batch size per learner should be reduced as more learners are added to the system to preserve the model accuracy. We validate this approach using commonly-used image classification benchmarks: CIFAR10 and ImageNet.

研究动机与目标

• 系统性地研究分布式深度学习系统中模型准确率与训练运行时间之间的相互作用。
• 识别超参数（学习率、批量大小）与系统参数（学习者数量、延迟）如何共同影响模型准确率和训练速度。
• 开发并评估一种新的学习率调节策略，以缓解异步训练中延迟梯度的负面影响。
• 设计一种同步协议，在保持高准确率和快速收敛的同时减少网络开销。
• 通过实证验证一种启发式方法：在扩展训练时，必须随着学习者数量的增加而减小小批量大小，以维持模型准确率。

提出的方法

• 使用向量时钟定量测量不同学习者之间梯度更新的延迟程度。
• 采用异步随机梯度下降（ASGD），并结合softsync和hardsync等协议变体来控制梯度延迟。
• 提出一种学习率调节策略，将学习率除以平均梯度延迟，以稳定训练过程。
• 提出一种新型的1-softsync协议，其中参数服务器在更新权重前先累积一个时间窗口（λ）内的梯度，从而减少延迟和通信开销。
• 在高延迟环境下使用AdaGrad优化算法，并调整初始学习率以稳定收敛。
• 在CIFAR10和ImageNet基准上对多种学习者数量、批量大小和同步协议配置进行了实证评估。

实验结果

研究问题

• RQ1 在分布式深度学习中，梯度延迟如何影响模型准确率和训练速度？
• RQ2 在横向扩展训练中，小批量大小与学习者数量之间应保持何种最优关系，以维持模型准确率？
• RQ3 是否可以通过延迟感知的学习率调整来改善异步训练中的收敛性并降低测试误差？
• RQ4 不同的同步协议（如softsync与hardsync）如何影响运行时间性能和模型准确率？
• RQ5 对于给定模型，是否存在一个可有效利用的学习者数量的实际上限？其决定因素是什么？

主要发现

• 随着学习者数量的增加，必须减小每个学习者的批量大小，才能维持模型准确率，这揭示了可利用并行性的硬性上限。
• 1-softsync协议通过有效控制梯度延迟并最小化通信开销，在给定测试误差下实现了最低的运行时间。
• 所提出的将学习率除以平均延迟的学习率调节策略，相比基线配置，能实现更快的收敛速度和更低的测试误差。
• 采用1-softsync与AdaGrad的配置，其验证误差仅比基线略高，表明通过调整初始学习率可恢复准确率。
• softsync协议在运行时间和准确率方面均优于hardsync，其中adv∗-softsync在ImageNet上实现了最快收敛至48%的top-1验证准确率。
• 实证结果在小规模（CIFAR10）和大规模（ImageNet）基准上均成立，表明该启发式方法具有良好的泛化能力。