[论文解读] GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training

Thomas Paine, Hailin Jin+3 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Neural Network Applications参考文献 14被引用 67

一句话总结

本文提出了一种基于GPU的异步随机梯度下降（GPU A-SGD）方法，该方法结合了多GPU模型并行与异步SGD的数据并行策略，以加速大规模卷积神经网络的训练。在使用8块GPU的情况下，该方法在ImageNet ILSVRC 2012数据集上实现了3.2倍的加速，同时保持了接近最先进水平的性能，表明频繁参数同步的异步更新可显著缩短训练时间而不损失准确性。

ABSTRACT

The ability to train large-scale neural networks has resulted in state-of-the-art performance in many areas of computer vision. These results have largely come from computational break throughs of two forms: model parallelism, e.g. GPU accelerated training, which has seen quick adoption in computer vision circles, and data parallelism, e.g. A-SGD, whose large scale has been used mostly in industry. We report early experiments with a system that makes use of both model parallelism and data parallelism, we call GPU A-SGD. We show using GPU A-SGD it is possible to speed up training of large convolutional neural networks useful for computer vision. We believe GPU A-SGD will make it possible to train larger networks on larger training sets in a reasonable amount of time.

研究动机与目标

• 通过结合基于GPU的模型并行与异步数据并行，加速大规模神经网络的训练。
• 评估GPU A-SGD在ImageNet ILSVRC 2012基准上减少大规模卷积神经网络训练时间的有效性。
• 研究不同同步频率（$n_{\text{sync}}$）和GPU客户端数量对训练收敛性和误差率的影响。
• 探讨异步分布式训练中更新频率与训练稳定性的权衡关系。
• 确定预热启动和自适应优化方法是否能提升异步GPU训练的性能。

提出的方法

• 扩展cuda-convnet框架，支持多个GPU客户端通过MPI进行进程间通信，与中央参数服务器交互。
• 采用异步随机梯度下降（A-SGD），其中每个GPU客户端独立在小批量数据上计算梯度，并异步更新共享模型参数。
• 使用同步间隔 $n_{\text{sync}}$ 控制客户端从服务器获取更新参数和推送梯度的频率。
• 采用滑动窗口平滑技术（400个小批量）处理训练误差曲线，以更清晰地比较不同配置下的表现。
• 实现冷启动与预热启动两种训练协议，以分析初始学习动态与收敛行为。
• 使用标准深度学习组件：ReLU激活函数、Dropout、数据增强，以及多裁剪测试进行评估。

实验结果

研究问题

• RQ1 与单GPU训练相比，GPU A-SGD是否能在大规模卷积神经网络训练中实现显著加速？
• RQ2 GPU客户端数量如何影响学习速度与最终误差率，特别是在训练初期？
• RQ3 在更新延迟与训练效率之间取得平衡时，最优同步频率（$n_{\text{sync}}$）是多少？
• RQ4 预热启动是否能缓解高客户端数量异步训练设置中观察到的初始学习速度下降问题？
• RQ5 在收敛性和误差演变方面，冷启动与预热启动配置下的训练动态有何不同？

主要发现

• 在使用8块GPU的情况下，GPU A-SGD在ImageNet ILSVRC 2012数据集上实现了3.2倍加速，将训练时间从10.6天缩短至3.3天，同时达到42.2%的测试误差率。
• 采用预热启动后，当 $n_{\text{sync}} = 100$ 时，训练误差从单GPU的70%降至8 GPU的58%，表明并行度提升带来了显著性能增益。
• 在训练初期，使用大量GPU客户端（如32个）的训练速度显著慢于客户端较少的情况，表明早期梯度不一致性会延缓收敛。
• 训练后期，客户端更多的模型表现出更陡峭的学习曲线，表明梯度一致性随时间改善，并受益于梯度平均。
• 更高的同步频率（$n_{\text{sync}} = 100$）即使处理的总小批量数更少，仍导致更低的最终误差，表明频繁更新可超越通信开销的影响。
• 在高 $n_{\text{sync}}$ 值（如900）时，误差曲线出现锯齿状伪影，表明陈旧梯度可能导致不稳定并阻碍收敛。