[论文解读] Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation

Cong Fang, Yameng Huang+1 more|arXiv (Cornell University)|Feb 27, 2018

Stochastic Gradient Optimization Techniques参考文献 11被引用 7

一句话总结

该论文引入动量补偿以加速异步凸优化算法，通过校正延迟梯度，实现更快的收敛速率——非强凸问题为$O(1/\sqrt{\epsilon})$，强凸问题为$O(\sqrt{\kappa}\log(1/\epsilon))$。提出SGD和坐标下降的新颖加速异步变体，在理论和实践上均优于现有方法，尤其在病态条件问题上表现更优。

ABSTRACT

Asynchronous algorithms have attracted much attention recently due to the crucial demands on solving large-scale optimization problems. However, the accelerated versions of asynchronous algorithms are rarely studied. In this paper, we propose the "momentum compensation" technique to accelerate asynchronous algorithms for convex problems. Specifically, we first accelerate the plain Asynchronous Gradient Descent, which achieves a faster $O(1/\sqrtε)$ (v.s. $O(1/ε)$) convergence rate for non-strongly convex functions, and $O(\sqrtκ\log(1/ε))$ (v.s. $O(κ\log(1/ε))$) for strongly convex functions to reach an $ε$- approximate minimizer with the condition number $κ$. We further apply the technique to accelerate modern stochastic asynchronous algorithms such as Asynchronous Stochastic Coordinate Descent and Asynchronous Stochastic Gradient Descent. Both of the resultant practical algorithms are faster than existing ones by order. To the best of our knowledge, we are the first to consider accelerated algorithms that allow updating by delayed gradients and are the first to propose truly accelerated asynchronous algorithms. Finally, the experimental results on a shared memory system show that acceleration can lead to significant performance gains on ill-conditioned problems.

研究动机与目标

• 为解决凸优化中缺乏加速异步算法，特别是处理延迟梯度的问题。
• 在标准$O(1/\epsilon)$和$O(\kappa\log(1/\epsilon))$界限之外，提升异步算法的收敛速率。
• 设计在共享内存系统中保持加速优势的实际、真正加速的异步算法。
• 在有界延迟假设下，为新型加速异步变体建立理论收敛保证。

提出的方法

• 引入动量补偿以校正异步更新中延迟梯度的影响，实现更快收敛。
• 将该技术应用于加速异步梯度下降（AGD），在非强凸函数下实现$O(1/\sqrt{\epsilon})$，在强凸函数下实现$O(\sqrt{\kappa}\log(1/\epsilon))$。
• 将动量补偿扩展至异步随机坐标下降（ASCD）和异步随机梯度下降（ASGD），分别提出AASCD和AASGD算法。
• 推导基于Hessian-向量的梯度估计器（公式209），可自适应延迟，确保校正权重随延迟增加呈指数衰减。
• 采用自旋锁和稀疏更新技术，防止内存冲突，提升稀疏数据集上的效率。
• 利用$\triangle$-假设限制稀疏更新的影响，并推导出依赖于稀疏度的收敛速率。

实验结果

研究问题

• RQ1 动量补偿能否用于加速异步凸优化算法，使其收敛速率超越标准界限？
• RQ2 在有界延迟下，能否在异步设置中实现加速收敛，特别是存在延迟梯度时？
• RQ3 所提出的加速异步算法在收敛速度和实际性能方面与现有方法相比如何？
• RQ4 在有界延迟和稀疏性假设下，能否为加速异步算法建立理论收敛保证？

主要发现

• 所提出的AAGD在非强凸函数下实现$O(1/\sqrt{\epsilon})$收敛，在强凸函数下实现$O(\sqrt{\kappa}\log(1/\epsilon))$，与下界仅相差常数因子。
• AASCD和AASGD的收敛速度优于现有异步对应算法，分别实现$(n\sqrt{L}+n\tau\sqrt{L_{c}})\sqrt{1/\epsilon}$和$n+(n+\tau\sqrt{n})\sqrt{L/\epsilon}$的改进速率。
• 在病态条件问题上，实验结果表明性能显著提升，尤其当正则化参数$\lambda$较小时，优于当前最先进方法。
• 通过自旋锁和稀疏更新技术，算法保持稳定与高效，防止内存冲突，并在共享内存系统上实现正确计算。
• 理论分析证实，基于Hessian-向量的估计器（公式209）可确保校正权重随延迟呈指数衰减，即使在大延迟下仍能保持收敛。
• $\triangle$-假设通过考虑稀疏性，使收敛界更紧致，表明更新变化小且可预测。