[论文解读] A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity

Robert Hannah, Fei Feng+1 more|arXiv (Cornell University)|Mar 15, 2018

Stochastic Gradient Optimization Techniques参考文献 1被引用 8

一句话总结

该论文提出了A2BCD，这是首个具有最优迭代复杂度的异步Nesterov加速块坐标下降算法。它在容忍有界延迟的情况下实现了与NU_ACDM相当的加速收敛速率，证明了过时信息不会带来复杂度惩罚，并且在数值实验中优于现有方法。

ABSTRACT

In this paper, we propose the Asynchronous Accelerated Nonuniform Randomized Block Coordinate Descent algorithm (A2BCD), the first asynchronous Nesterov-accelerated algorithm that achieves optimal complexity. This parallel algorithm solves the unconstrained convex minimization problem, using p computing nodes which compute updates to shared solution vectors, in an asynchronous fashion with no central coordination. Nodes in asynchronous algorithms do not wait for updates from other nodes before starting a new iteration, but simply compute updates using the most recent solution information available. This allows them to complete iterations much faster than traditional ones, especially at scale, by eliminating the costly synchronization penalty of traditional algorithms. We first prove that A2BCD converges linearly to a solution with a fast accelerated rate that matches the recently proposed NU_ACDM, so long as the maximum delay is not too large. Somewhat surprisingly, A2BCD pays no complexity penalty for using outdated information. We then prove lower complexity bounds for randomized coordinate descent methods, which show that A2BCD (and hence NU_ACDM) has optimal complexity to within a constant factor. We confirm with numerical experiments that A2BCD outperforms NU_ACDM, which is the current fastest coordinate descent algorithm, even at small scale. We also derive and analyze a second-order ordinary differential equation, which is the continuous-time limit of our algorithm, and prove it converges linearly to a solution with a similar accelerated rate.

研究动机与目标

• 开发一种异步、加速的块坐标下降算法，即使在使用过时信息的情况下仍能保持最优的收敛复杂度。
• 通过证明具有最优速率的线性收敛，填补异步Nesterov加速在理论上的空白。
• 证明异步更新不会带来复杂度惩罚，即使在有界延迟下也是如此。
• 推导并分析一个连续时间常微分方程模型，以捕捉A2BCD的动力学特性。
• 通过在各种规模上的数值实验验证该算法的优越性。

提出的方法

• A2BCD通过引入涉及共享解向量$x$、$y$和$z$的三变量更新方案，将NU_ACDM扩展到异步设置，同时利用延迟的梯度信息。
• 该算法基于块Lipschitz常数$L_i$，采用随机且非均匀的坐标块选择策略，以实现加速收敛。
• 一个关键创新是采用双重加速方案，结合外推和平均化，并通过一种新颖的李雅普诺夫函数分析方法，使其适用于处理异步性。
• 该方法通过使用矩阵$C^k$和辅助变量$p_k$、$q_k$引入稀疏化变换，实现在共享内存中的高效稀疏更新。
• 作为A2BCD的极限，推导出一个连续时间ODE模型，证明其以加速速率线性收敛。
• 设计了一种高效的共享内存实现，包括周期性恢复$y^k$和$v^k$，以重置辅助变量并保持数值稳定性。

实验结果

研究问题

• RQ1 是否可以成功地将Nesterov型加速扩展到异步块坐标下降设置中，而不会牺牲收敛复杂度？
• RQ2 在异步设置中使用过时梯度是否会带来收敛速率方面的复杂度惩罚？
• RQ3 A2BCD的收敛速率是否在常数因子范围内最优，其与NU_ACDM相比如何？
• RQ4 能否为A2BCD推导出一个连续时间ODE模型，以捕捉其收敛动力学并证明线性收敛？
• RQ5 由于减少了同步开销，A2BCD在实践中是否即使在小规模下也优于NU_ACDM？

主要发现

• A2BCD实现了与NU_ACDM相匹配的加速速率的线性收敛，证明了异步更新不会降低最优复杂度边界。
• 即使在最大延迟有界的情况下，该算法仍能保持最优复杂度（常数因子内），表明异步性不会带来复杂度惩罚。
• 数值实验确认，由于减少了同步开销，A2BCD在收敛速度上优于NU_ACDM，即使在小规模下也是如此。
• A2BCD的连续时间ODE极限以类似加速速率线性收敛，验证了该算法的动力学稳定性。
• 提出了一种高效的共享内存实现，通过利用稀疏更新和周期性变量恢复来保持精度和性能。
• 理论分析表明，在给定假设下，A2BCD的收敛速率对随机块坐标下降方法而言是最优的。