[论文解读] Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization

Xiangru Lian, Yijun Huang+2 more|arXiv (Cornell University)|Jun 27, 2015

Stochastic Gradient Optimization Techniques参考文献 31被引用 238

一句话总结

本文首次为非凸优化中的异步并行随机梯度下降方法建立了 $O(1/ ext{K})$ 的遍历收敛速率，证明当工作节点数量受限于 $\sqrt{K}$ 时可实现线性加速。通过分析基于网络和共享内存的系统，该研究为深度学习中异步SGD的实际成功提供了理论依据。

ABSTRACT

Asynchronous parallel implementations of stochastic gradient (SG) have been broadly used in solving deep neural network and received many successes in practice recently. However, existing theories cannot explain their convergence and speedup properties, mainly due to the nonconvexity of most deep learning formulations and the asynchronous parallel mechanism. To fill the gaps in theory and provide theoretical supports, this paper studies two asynchronous parallel implementations of SG: one is on the computer network and the other is on the shared memory system. We establish an ergodic convergence rate $O(1/\sqrt{K})$ for both algorithms and prove that the linear speedup is achievable if the number of workers is bounded by $\sqrt{K}$ ($K$ is the total number of iterations). Our results generalize and improve existing analysis for convex minimization.

研究动机与目标

• 填补非凸优化中异步并行SGD理论理解的空白。
• 分析基于网络和共享内存的异步SGD系统中的收敛性和加速性能。
• 建立一个严谨的收敛速率，以解释异步SGD在深度学习中经验成功的根源。
• 将先前针对凸优化的分析推广至非凸设置。

提出的方法

• 分析基于主从架构的计算机网络上的异步并行SGD。
• 分析具有并发更新的共享内存系统上的异步并行SGD。
• 利用随机逼近和李雅普诺夫函数技术，推导出 $O(1/\sqrt{K})$ 的遍历收敛速率。
• 在工作节点数量为 $O(\sqrt{K})$ 的条件下，建立线性加速。
• 采用统一框架处理基于网络和共享内存的模型。
• 应用随机优化和非凸分析工具，以界定梯度误差和收敛性。

实验结果

研究问题

• RQ1 我们能否为非凸优化中的异步并行SGD建立收敛速率？
• RQ2 在非凸问题中，异步SGD的线性加速是否成立？
• RQ3 在异步环境下，基于网络和共享内存的系统在收敛性方面有何差异？
• RQ4 在加速性能开始退化之前，工作节点数量的理论极限是什么？
• RQ5 现有的凸优化理论能否推广至非凸深度学习场景？

主要发现

• 本文为基于网络和共享内存的异步SGD均建立了 $O(1/\sqrt{K})$ 的遍历收敛速率。
• 当工作节点数量受 $\sqrt{K}$ 限制时，可实现线性加速，其中 $K$ 为总迭代次数。
• 理论结果推广并改进了以往局限于凸最小化问题的分析。
• 该收敛速率在典型的深度学习非凸目标函数下依然成立。
• 该分析为异步SGD在训练深度神经网络中的实际成功提供了理论基础。
• 结果证实，在给定的工作节点数量限制下，异步性不会阻碍收敛。