[论文解读] Model Accuracy and Runtime Tradeoff in Distributed Deep Learning

Suyog Gupta, Wei Zhang+1 more|arXiv (Cornell University)|Sep 14, 2015

Stochastic Gradient Optimization Techniques参考文献 25被引用 16

一句话总结

Rudra 是一个参数服务器框架，通过引入一种延迟有界同步协议和自适应学习率调制，优化了分布式深度学习，实现了更快的训练速度同时保持了模型的准确性。实验结果表明，在添加更多学习器时，减少每个学习器的小批量大小，可以在 CIFAR10 和 ImageNet 上保持准确性的同时提升运行时性能。

ABSTRACT

This paper presents Rudra, a parameter server based distributed computing framework tuned for training large-scale deep neural networks. Using variants of the asynchronous stochastic gradient descent algorithm we study the impact of synchronization protocol, stale gradient updates, minibatch size, learning rates, and number of learners on runtime performance and model accuracy. We introduce a new learning rate modulation strategy to counter the effect of stale gradients and propose a new synchronization protocol that can effectively bound the staleness in gradients, improve runtime performance and achieve good model accuracy. Our empirical investigation reveals a principled approach for distributed training of neural networks: the mini-batch size per learner should be reduced as more learners are added to the system to preserve the model accuracy. We validate this approach using commonly-used image classification benchmarks: CIFAR10 and ImageNet.

研究动机与目标

• 解决分布式深度学习系统中训练速度与模型准确性之间的权衡问题。
• 研究同步协议、梯度延迟、小批量大小、学习率以及学习器数量对性能和准确性的影响。
• 开发一种新的学习率调制策略，以缓解延迟梯度带来的负面影响。
• 设计一种延迟有界同步协议，以限制梯度延迟并提高运行时效率。
• 建立一种有原则的分布式训练扩展策略，确保随着学习器数量增加，模型准确性仍能保持。

提出的方法

• Rudra 使用参数服务器架构，协调多个学习器之间的异步随机梯度下降（ASGD）。
• 它引入了一种新颖的同步协议，主动限制梯度更新的延迟，以防止发散并改善收敛性。
• 提出了一种新的学习率调制策略，根据梯度延迟动态调整学习率，以稳定训练过程。
• 该框架在多个超参数之间进行权衡评估：小批量大小、学习率、学习器数量和延迟阈值。
• 在 CIFAR10 和 ImageNet 上使用标准图像分类基准进行实验，以验证该方法的有效性。
• 系统会随着学习器数量的增加，动态调整每个学习器的小批量大小，以保持准确性。

实验结果

研究问题

• RQ1 在分布式深度学习中，梯度延迟如何影响模型准确性和训练收敛性？
• RQ2 在扩展学习器数量时，如何在运行时间性能和模型准确性之间实现最优权衡？
• RQ3 延迟有界同步协议是否能够同时提升训练速度和模型准确性？
• RQ4 随着学习器数量的增加，小批量大小应如何调整，以维持模型准确性？
• RQ5 自适应学习率调制是否能有效抵消延迟梯度带来的负面影响？

主要发现

• 随着学习器数量的增加，减少每个学习器的小批量大小，即使延迟较高，也能保持模型准确性。
• 所提出的延迟有界同步协议在保持 CIFAR10 和 ImageNet 上高模型准确性的同时，提升了运行时性能。
• 自适应学习率调制策略有效缓解了由延迟梯度引起的性能下降。
• 实验结果表明，只要适当缩小小批量大小，就可以高效地使用更多学习器，而不会牺牲准确性。
• 与标准的 ASGD 配置相比，该框架实现了更快的训练时间，且准确性下降极小。
• 该方法实现了可扩展的分布式训练，在不同系统规模下均保持一致的性能表现。