[论文解读] More Iterations per Second, Same Quality -- Why Asynchronous Algorithms may Drastically Outperform Traditional Ones

Robert Hannah, Wotao Yin|arXiv (Cornell University)|Aug 17, 2017

Stochastic Gradient Optimization Techniques参考文献 1被引用 9

一句话总结

本文表明，异步并行算法（如 ARock）在大规模优化中可显著优于传统的同步算法，通过实现每秒更多次的迭代，同时保持收敛质量几乎不变。关键结果表明，尽管使用了过时的信息，异步方法仍能保持与同步方法渐近等价的迭代复杂度，从而在大规模场景下实现显著加速。

ABSTRACT

In this paper, we consider the convergence of a very general asynchronous-parallel algorithm called ARock, that takes many well-known asynchronous algorithms as special cases (gradient descent, proximal gradient, Douglas Rachford, ADMM, etc.). In asynchronous-parallel algorithms, the computing nodes simply use the most recent information that they have access to, instead of waiting for a full update from all nodes in the system. This means that nodes do not have to waste time waiting for information, which can be a major bottleneck, especially in distributed systems. When the system has $p$ nodes, asynchronous algorithms may complete $Θ(\ln(p))$ more iterations than synchronous algorithms in a given time period ("more iterations per second"). Although asynchronous algorithms may compute more iterations per second, there is error associated with using outdated information. How many more iterations in total are needed to compensate for this error is still an open question. The main results of this paper aim to answer this question. We prove, loosely, that as the size of the problem becomes large, the number of additional iterations that asynchronous algorithms need becomes negligible compared to the total number ("same quality" of the iterations). Taking these facts together, our results provide solid evidence of the potential of asynchronous algorithms to vastly speed up certain distributed computations.

研究动机与目标

• 从理论上证明异步并行算法为何在大规模分布式优化中能优于同步算法。
• 分析每秒迭代次数增加与因使用过时信息导致收敛性能下降之间的权衡。
• 证明在无界延迟下，异步 ARock 的迭代复杂度与同步算法渐近等价。
• 证明在大规模问题中，更高的迭代吞吐量所带来的性能增益，超过使用过时数据带来的任何惩罚。
• 通过 ARock 框架的通用性，将结果推广至广泛的一类优化算法。

提出的方法

• 分析 ARock 算法，这是一种适用于梯度下降、近端梯度、ADMM 等算法的一般异步并行固定点迭代框架。
• 使用利普希茨常数 $ r < 1 $ 的压缩算子对系统建模，确保线性收敛。
• 引入依赖于迭代次数和问题参数的步长函数 $ h_1(j) $ 和 $ h_2(j) $，以控制收敛行为。
• 采用李雅普诺夫函数方法，利用 $ \epsilon_i = m^{1/2}\gamma^i $ 和 $ \delta_i = 2m^{1/2}\gamma^i $ 绑定过时信息引起的误差传播。
• 通过函数 $ R(\eta^k, h_2(j(k))) $ 推导收敛速率边界，该函数量化了在异步条件下每轮迭代的进展。
• 应用渐近分析，表明迭代复杂度为 $ \mathcal{O}(\frac{1}{1-r^2} \ln(1/\epsilon)) $，在低阶项范围内与延迟无关。

实验结果

研究问题

• RQ1 在大规模系统中，异步算法是否能实现显著多于同步算法的每秒迭代次数？
• RQ2 异步算法中使用过时信息是否会导致收敛所需迭代次数显著增加？
• RQ3 在无界延迟下，异步 ARock 的迭代复杂度是否与同步版本渐近等价？
• RQ4 异步方法更高的迭代吞吐量在多大程度上可以弥补因使用过时数据导致的收敛速度下降？
• RQ5 异步的理论性能优势能否推广至广泛的一类优化算法？

主要发现

• 当使用 $ p $ 个处理节点时，异步算法可实现每秒比同步算法多出 $ \Theta(\ln p) $ 次迭代。
• 尽管使用了过时信息，ARock 的迭代复杂度在无界延迟下仍与同步版本渐近等价。
• ARock 的收敛速率为 $ 1 - \frac{1}{m}(1 - r^2) \left(1 - \mathcal{O}(m^{q - 1/2}) \right) $，表明其为线性收敛，且收敛速率依赖于问题参数。
• 迭代复杂度为 $ \mathcal{O}\left( \frac{1}{1 - r^2} \ln(1/\epsilon) \right) $，与延迟无关，且与同步情况在低阶项范围内一致。
• 由于过时数据引起的误差随问题规模增大而趋于可忽略，因此渐近收敛速率得以保持。
• 理论分析证实，更高的迭代吞吐量带来的性能增益，超过了过时信息带来的任何性能下降，从而在大规模场景下实现显著加速。