[论文解读] Asynchronous Stochastic Proximal Methods for Nonconvex Nonsmooth Optimization

Rui Zhu, Di Niu+1 more|arXiv (Cornell University)|Feb 24, 2018

Stochastic Gradient Optimization Techniques参考文献 31被引用 4

一句话总结

本文提出并分析了用于非凸、非光滑优化问题（带凸正则项）的异步近似随机梯度下降（Asyn-ProxSGD）。在固定小批量大小且无需方差缩减的条件下，建立了 $O(1/ ext{K}^{1/2})$ 的遍历收敛速率——与异步SGD的速率一致，这是首个在非凸设置下无需增大批量大小或方差缩减的异步ProxSGD收敛结果。

ABSTRACT

We study stochastic algorithms for solving nonconvex optimization problems with a convex yet possibly nonsmooth regularizer, which find wide applications in many practical machine learning applications. However, compared to asynchronous parallel stochastic gradient descent (AsynSGD), an algorithm targeting smooth optimization, the understanding of the behavior of stochastic algorithms for nonsmooth regularized optimization problems is limited, especially when the objective function is nonconvex. To fill this theoretical gap, in this paper, we propose and analyze asynchronous parallel stochastic proximal gradient (Asyn-ProxSGD) methods for nonconvex problems. We establish an ergodic convergence rate of $O(1/\sqrt{K})$ for the proposed Asyn-ProxSGD, where $K$ is the number of updates made on the model, matching the convergence rate currently known for AsynSGD (for smooth problems). To our knowledge, this is the first work that provides convergence rates of asynchronous parallel ProxSGD algorithms for nonconvex problems. Furthermore, our results are also the first to show the convergence of any stochastic proximal methods without assuming an increasing batch size or the use of additional variance reduction techniques. We implement the proposed algorithms on Parameter Server and demonstrate its convergence behavior and near-linear speedup, as the number of workers increases, on two real-world datasets.

研究动机与目标

• 填补异步随机近似方法在非凸、非光滑优化问题中理论理解的空白。
• 弥合非凸目标函数与非光滑正则项下异步近似梯度方法的收敛性分析差距。
• 在固定小批量大小下，无需方差缩减或增大批量大小，为随机近似方法提供收敛保证。
• 通过在参数服务器框架上的实现，展示实际可扩展性与加速效果。

提出的方法

• 为带有非光滑正则项的非凸优化问题提出异步近似随机梯度下降（Asyn-ProxSGD）。
• 在每个工作节点上，基于随机采样的训练数据小批量计算随机梯度。
• 应用近似算子处理目标函数 $\Psi(x) = f(x) + h(x)$ 中的非光滑正则项 $h(x)$。
• 允许异步更新，即工作节点独立更新全局模型，无需同步，从而降低通信开销。
• 采用非凸问题的遍历收敛速率框架进行收敛性分析。
• 在固定小批量大小且无需方差缩减技术的条件下，建立理论收敛性。

实验结果

研究问题

• RQ1 异步随机近似梯度方法能否在非凸、非光滑优化问题中实现收敛？
• RQ2 在固定小批量大小且无方差缩减的条件下，异步ProxSGD的收敛速率如何？
• RQ3 随着工作节点数量增加，Asyn-ProxSGD在实践中是否实现近线性加速？
• RQ4 与异步SGD相比，Asyn-ProxSGD在收敛速率与可扩展性方面表现如何？

主要发现

• 所提出的Asyn-ProxSGD在非凸问题中实现了 $O(1/\text{K}^{1/2})$ 的遍历收敛速率，与异步SGD的速率一致。
• 这是首个在非凸设置下无需假设批量大小递增或使用方差缩减的异步ProxSGD收敛速率结果。
• 在两个真实数据集上的实验评估表明，随着工作节点数量增加，迭代次数和运行时间均实现近线性加速。
• 在a9a数据集上，当子最优性为 $10^{-3}$ 时，8个工作节点下实现5.973倍的迭代加速与5.876倍的时间加速。
• 在MNIST数据集上，当子最优性为 $10^{-3}$ 时，8个工作节点下实现7.352倍的迭代加速与5.714倍的时间加速。
• 理论分析证实，当工作节点数量被限制在 $O(K^{1/4})$ 以内时，线性加速是可实现的。