[论文解读] Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction

Zhouyuan Huo, Bin Gu+1 more|arXiv (Cornell University)|Sep 22, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用 4

一句话总结

本文提出 DAP-SVRG，一种用于大规模机器学习的解耦异步近似随机梯度方法，结合方差缩减技术。通过将近似操作移至工作节点并利用方差缩减梯度，该方法在强凸问题上实现了线性收敛，克服了先前异步方法收敛速度慢（$O(1/T)$）的缺陷，同时保持了可扩展性并降低了服务器负载。

ABSTRACT

In the era of big data, optimizing large scale machine learning problems becomes a challenging task and draws significant attention. Asynchronous optimization algorithms come out as a promising solution. Recently, decoupled asynchronous proximal stochastic gradient descent (DAP-SGD) is proposed to minimize a composite function. It is claimed to be able to off-loads the computation bottleneck from server to workers by allowing workers to evaluate the proximal operators, therefore, server just need to do element-wise operations. However, it still suffers from slow convergence rate because of the variance of stochastic gradient is nonzero. In this paper, we propose a faster method, decoupled asynchronous proximal stochastic variance reduced gradient descent method (DAP-SVRG). We prove that our method has linear convergence for strongly convex problem. Large-scale experiments are also conducted in this paper, and results demonstrate our theoretical analysis.

研究动机与目标

• 解决由于随机梯度方差较高导致的异步近似随机梯度方法收敛缓慢的问题。
• 通过将近似操作卸载至工作节点，减轻服务器端计算负担，实现更快的迭代速度。
• 在异步、分布式设置下，为强凸问题实现线性收敛。
• 通过结合方差缩减与解耦的异步更新，提升大规模机器学习中的可扩展性与效率。

提出的方法

• 提出 DAP-SVRG，一种异步近似 SGD 的变体，利用方差缩减梯度以降低随机更新中的噪声。
• 将近似操作从服务器解耦，允许工作节点本地计算近似映射。
• 采用快照机制，每 $T$ 次迭代使用一个新的参考点 $\tilde{x}$ 来计算控制变量以实现方差缩减。
• 使用具有时间延迟 $\tau$ 的滞后梯度，并通过稳定性分析限制滞后性的影响。
• 在工作节点侧应用近似算子 $\text{Prox}_{\eta,h}(\cdot)$，通过 $x_{\text{new}} = \text{Prox}_{\eta,h}(x_{\text{old}} - \eta v_t)$ 更新参数。
• 通过李雅普诺夫分析建立收敛性，表明期望次优性随迭代次数线性下降。

实验结果

研究问题

• RQ1 能否有效结合方差缩减与解耦的异步近似更新，以实现更快的收敛速度？
• RQ2 将近似操作卸载至工作节点是否能在保持收敛性的同时降低服务器负载？
• RQ3 在存在滞后梯度和非光滑正则化的情况下，能否保证异步设置下的线性收敛？
• RQ4 时间延迟 $\tau$ 如何影响收敛性？是否可以对其进行有界控制以确保稳定性？

主要发现

• DAP-SVRG 在强凸问题上实现了线性收敛，而 DAP-SGD 在恒定学习率下仅能以 $O(1/\sqrt{T})$ 的速率收敛。
• 只要滞后性 $\tau$ 有界，该方法即使在存在滞后梯度的异步更新下仍能保持线性收敛。
• 通过解耦近似操作，服务器仅需执行逐元素更新，显著降低了计算开销。
• 理论分析表明，期望次优性随迭代次数线性下降，收敛速率依赖于 $\eta$、$L$、$\mu$ 和 $\tau$。
• 方差缩减机制确保 $\mathbb{E}\|v_t - \nabla f(x_{d(t)})\|_2^2$ 有界，这对实现线性收敛至关重要。