[论文解读] Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent

Yitan Li, Linli Xu+2 more|arXiv (Cornell University)|May 21, 2016

Stochastic Gradient Optimization Techniques参考文献 16被引用 4

一句话总结

本文提出解耦异步近端随机梯度下降（DAP-SGD），将计算量大的近端操作从主节点转移到工作节点，从而实现更易并行化。该方法在递减步长下实现 O(log T / T) 的收敛速率，在常数步长下实现遍历 O(1/√T) 的收敛速率，显著提升了具有非光滑正则化的大规模机器学习任务的可扩展性。

ABSTRACT

Asynchronous parallel optimization algorithms for solving large-scale machine learning problems have drawn significant attention from academia to industry recently. This paper proposes a novel algorithm, decoupled asynchronous proximal stochastic gradient descent (DAP-SGD), to minimize an objective function that is the composite of the average of multiple empirical losses and a regularization term. Unlike the traditional asynchronous proximal stochastic gradient descent (TAP-SGD) in which the master carries much of the computation load, the proposed algorithm off-loads the majority of computation tasks from the master to workers, and leaves the master to conduct simple addition operations. This strategy yields an easy-to-parallelize algorithm, whose performance is justified by theoretical convergence analyses. To be specific, DAP-SGD achieves an $O(\log T/T)$ rate when the step-size is diminishing and an ergodic $O(1/\sqrt{T})$ rate when the step-size is constant, where $T$ is the number of total iterations.

研究动机与目标

• 为解决传统异步近端 SGD 中主节点执行昂贵近端操作的瓶颈问题，尤其是在非光滑正则化情况下。
• 通过将近端步骤的计算去中心化至工作节点，设计出更具可扩展性和并行性的算法。
• 在强凸性和梯度-Lipschitz 连续性的标准假设下，为所提算法提供理论收敛保证。
• 支持在多核和多机（参数服务器）架构中高效实现。

提出的方法

• 通过让每个工作节点在其本地梯度更新上计算近端算子，将近端步骤从主节点解耦。
• 主节点仅执行来自工作节点的参数更新的逐元素加法，大幅降低其计算负载。
• 采用递减步长规则 η_t = O(1/t)，以实现 O(log T / T) 的收敛速率。
• 采用常数步长 η = O(1/√T)，以实现对运行平均迭代点的遍历 O(1/√T) 收敛速率。
• 利用伸缩法和递归有界技术分析异步更新下迭代点的收敛性。
• 基于强凸性、梯度的Lipschitz连续性以及正则项次梯度有界的假设，推导收敛边界。

实验结果

研究问题

• RQ1 能否通过将近端操作卸载至工作节点，缓解传统异步近端 SGD 中主节点的计算瓶颈？
• RQ2 在异步更新下，将近端步骤从主节点解耦是否仍能保持收敛保证？
• RQ3 对于所提出的 DAP-SGD 算法，在递减步长和常数步长下可理论建立的收敛速率是什么？
• RQ4 该算法在具有不同正则化结构的多核和多机环境中如何实现可扩展性？
• RQ5 该方法是否能在无需为每类正则化类型定制并行实现的前提下，保持对非光滑正则项的收敛性？

主要发现

• 当使用递减步长时，DAP-SGD 实现了 O(log T / T) 的收敛速率，与同类算法的最佳已知速率一致。
• 在常数步长下，运行平均迭代点以遍历速率 O(1/√T) 收敛，这是随机一阶方法的标准结果。
• 理论分析证实了在标准假设下的收敛性：f 的强凸性、梯度的Lipschitz连续性，以及 h 的次梯度有界性。
• 由于主节点仅执行轻量级加法操作，该算法具有高度可并行性，适用于共享内存和参数服务器架构。
• 通过将近端操作卸载至工作节点，该方法避免了为每类正则化项定制并行实现的需求，提升了框架灵活性。
• 收敛边界通过递归不等式和伸缩和推导得出，证明了其对异步性和延迟更新的鲁棒性。