[论文解读] Fast Distributed Asynchronous SGD with Variance Reduction.

Ruiliang Zhang, Shuai Zheng+1 more|arXiv (Cornell University)|Aug 7, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用 17

一句话总结

本文提出了一种快速的分布式异步SGD算法，结合方差缩减技术，采用固定学习率即可实现线性收敛，确保了高解的质量和快速的运行时间。在Google Cloud上的实验表明，该方法在收敛速度和解的精度方面优于当前最先进的方法。

ABSTRACT

With the recent proliferation of large-scale learning problems, there have been a lot of interest on distributed machine learning algorithms, particularly those that are based on stochastic gradient descent (SGD) and its variants. However, existing algorithms either suffer from slow convergence due to the inherent variance of stochastic gradients, or have a fast linear convergence rate but at the expense of poorer solution quality. In this paper, we combine their merits together by proposing a distributed asynchronous SGD-based algorithm with variance reduction. A constant learning rate can be used, and it is also guaranteed to converge linearly to the optimal solution. Experiments on the Google Cloud Computing Platform demonstrate that the proposed algorithm outperforms state-of-the-art distributed asynchronous algorithms in terms of both wall clock time and solution quality.

研究动机与目标

• 解决分布式随机梯度下降中收敛速度与解质量之间的权衡问题。
• 在不使用递减学习率的情况下，实现分布式异步SGD的线性收敛。
• 在大规模机器学习工作负载中，提升运行时间与解的质量。
• 将方差缩减的优势与异步分布式训练相结合，以实现更好的可扩展性。

提出的方法

• 提出一种增强方差缩减的分布式异步SGD算法，以减少梯度噪声。
• 采用固定学习率，确保在不进行学习率衰减的情况下稳定且快速收敛。
• 结合方差缩减技术，保持异步更新过程中梯度的准确性。
• 设计算法以实现高效的通信，并在分布式节点间保持可扩展性。
• 采用去中心化的更新机制，使工作节点能够独立运行，无需同步。
• 在标准假设下，保证线性收敛至最优解。

实验结果

研究问题

• RQ1 能否有效将方差缩减集成到异步分布式SGD中，以实现使用固定学习率的线性收敛？
• RQ2 与现有异步方法相比，所提算法是否在解质量和运行时间方面均有提升？
• RQ3 该算法在真实分布式计算环境（如云平台）下的表现如何？
• RQ4 异步性与方差对收敛速度和最终模型精度有何影响？

主要发现

• 所提算法在使用固定学习率的情况下，实现了对最优解的线性收敛。
• 在Google Cloud上，其在运行时间和解质量方面均优于当前最先进的分布式异步SGD方法。
• 由于在随机梯度中有效实施了方差缩减，算法保持了高解的准确性。
• 采用固定学习率简化了超参数调优，同时确保了快速收敛。
• 该方法在分布式节点间表现出良好的可扩展性，在大规模学习场景中显示出更高的效率。