[论文解读] Asynchronous parallel adaptive stochastic gradient methods

Yangyang Xu, Colin Sutcher-Shepard+2 more|arXiv (Cornell University)|Feb 21, 2020

Stochastic Gradient Optimization Techniques参考文献 20被引用 2

一句话总结

本文提出了一种基于AMSGrad的异步并行自适应随机梯度方法，通过利用异步性实现深度学习模型的更快训练，同时保持收敛性保证。当延迟程度次优有界时，证明了近乎线性的加速效果，在凸与非凸设置下均优于同步方法。

ABSTRACT

Stochastic gradient methods (SGMs) are the predominant approaches to train deep learning models. The adaptive versions (e.g., Adam and AMSGrad) have been extensively used in practice, partly because they achieve faster convergence than the non-adaptive versions while incurring little overhead. On the other hand, asynchronous (async) parallel computing has exhibited much better speed-up over its synchronous (sync) counterpart. However, async-parallel implementation has only been demonstrated to the non-adaptive SGMs. The difficulty for adaptive SGMs originates from the second moment term that makes the convergence analysis challenging with async updates. In this paper, we propose an async-parallel adaptive SGM based on AMSGrad. We show that the proposed method inherits the convergence guarantee of AMSGrad for both convex and non-convex problems, if the staleness (also called delay) caused by asynchrony is bounded. Our convergence rate results indicate a nearly linear parallelization speed-up if $ au=o(K^{\frac{1}{4}})$, where $ au$ is the staleness and $K$ is the number of iterations. The proposed method is tested on both convex and non-convex machine learning problems, and the numerical results demonstrate its clear advantages over the sync counterpart.

研究动机与目标

• 将异步并行性扩展到自适应随机梯度方法，此前由于二阶矩项的挑战，这类方法缺乏收敛性保证。
• 解决在异步环境下分析自适应方法收敛性的困难，特别是由于梯度更新延迟导致的问题。
• 设计一种方法，在保持AMSGrad快速收敛性的同时，通过异步性实现高效的分布式训练。
• 在延迟有界条件下，建立凸与非凸问题的理论收敛速率。

提出的方法

• 提出AMSGrad算法的异步并行变体，修改更新规则以处理来自独立工作节点的延迟梯度。
• 引入延迟有界假设（τ = o(K^{1/4})），以控制延迟更新对收敛性的影响。
• 通过指数移动平均跟踪梯度的二阶矩，保持AMSGrad的自适应学习率机制。
• 采用去中心化的参数服务器架构，工作节点异步更新共享参数，无需同步屏障。
• 采用改进的收敛性分析框架，考虑自适应方法中延迟梯度引入的方差。
• 在延迟有界条件下，证明了凸与非凸目标的收敛性，将AMSGrad的理论保证扩展至异步设置。

实验结果

研究问题

• RQ1 能否在不损失收敛性保证的前提下，成功将异步并行性扩展到自适应随机梯度方法（如AMSGrad）？
• RQ2 在异步设置下，梯度延迟对自适应方法收敛性有何理论影响？
• RQ3 所提方法在实践中是否实现近似线性加速？其在延迟方面的条件是什么？
• RQ4 在凸与非凸优化问题中，异步自适应方法的性能与同步方法相比如何？
• RQ5 延迟（τ）与迭代次数（K）之间存在何种关系，可确保收敛性与高效并行化？

主要发现

• 当延迟τ满足τ = o(K^{1/4})时，所提异步AMSGrad方法实现了近乎线性的并行加速。
• 在延迟有界条件下，该方法在凸与非凸问题上的收敛速率与标准AMSGrad保持一致。
• 在凸与非凸机器学习问题上的数值实验表明，异步方法在训练速度与收敛效率方面均优于其同步版本。
• 理论分析建立了自适应方法在异步环境下的收敛性，解决了将自适应方法扩展至分布式设置的关键挑战。
• 该方法继承了AMSGrad的快速收敛性，同时通过异步性实现了可扩展的去中心化训练。