[论文解读] Asynchronous Coordinate Descent under More Realistic Assumptions

Tao Sun, Robert Hannah+1 more|arXiv (Cornell University)|May 20, 2017

Statistical Methods and Inference参考文献 13被引用 12

一句话总结

该论文通过消除块更新与延迟向量之间不切实际的独立性假设，建立了在更现实假设下的异步块坐标下降的收敛性。它引入了延迟感知的李雅普诺夫函数，将延迟视为系统内在组成部分而非噪声，证明了在确定性和随机块选择规则下，对有界和无界延迟均能实现收敛，适用于非凸、弱凸和强凸函数。

ABSTRACT

Asynchronous-parallel algorithms have the potential to vastly speed up algorithms by eliminating costly synchronization. However, our understanding to these algorithms is limited because the current convergence of asynchronous (block) coordinate descent algorithms are based on somewhat unrealistic assumptions. In particular, the age of the shared optimization variables being used to update a block is assumed to be independent of the block being updated. Also, it is assumed that the updates are applied to randomly chosen blocks. In this paper, we argue that these assumptions either fail to hold or will imply less efficient implementations. We then prove the convergence of asynchronous-parallel block coordinate descent under more realistic assumptions, in particular, always without the independence assumption. The analysis permits both the deterministic (essentially) cyclic and random rules for block choices. Because a bound on the asynchronous delays may or may not be available, we establish convergence for both bounded delays and unbounded delays. The analysis also covers nonconvex, weakly convex, and strongly convex functions. We construct Lyapunov functions that directly model both objective progress and delays, so delays are not treated errors or noise. A continuous-time ODE is provided to explain the construction at a high level.

研究动机与目标

• 为解决实践中异步坐标下降在现实假设下缺乏收敛性理论的问题。
• 消除先前分析中块索引与延迟向量之间不切实际的独立性假设。
• 在不将延迟建模为噪声或误差的前提下，实现对有界和无界延迟的收敛性证明。
• 在随机和确定性块选择规则下（包括循环和随机选择）提供收敛性保证。
• 在单一理论框架下统一非凸、弱凸和强凸函数的收敛性分析。

提出的方法

• 提出一种新颖的李雅普诺夫函数，直接结合目标函数进展与延迟动态，将延迟视为系统结构组成部分而非扰动。
• 使用连续时间常微分方程（ODE）模型来指导李雅普诺夫函数的构造，并提供高层次的直观理解。
• 为无界延迟引入自适应步长，其中 $ \gamma_k = c / D_{j(k)} $，$ D_{j(k)} $ 依赖于累积延迟权重。
• 采用子序列分析方法处理无界延迟，聚焦于当前延迟被 $ T $ 有界的时间点，记为 $ Q_T $。
• 应用 ECSD（本质上循环的半无界延迟）假设，以确保在任意窗口内每个块都以有界延迟足够频繁地被更新。
• 通过李雅普诺夫函数的递减性推导出充分下降条件，证明 $ H_k - H_{k+1} \geq L(\frac{1}{\gamma_k} - D_{j(k)})\|\Delta^k\|_2^2 $。

实验结果

研究问题

• RQ1 异步块坐标下降是否可以在不假设块选择与延迟向量之间独立的前提下实现收敛？
• RQ2 在无先验界约束的无界延迟下，如何保证收敛性？
• RQ3 是否可以在随机和确定性块选择规则下均实现收敛性？
• RQ4 是否能够在一个统一框架下处理非凸、弱凸和强凸函数的收敛性分析？
• RQ5 是否可能在收敛性证明中将延迟建模为系统内在组成部分，而非噪声或误差？

主要发现

• 在随机块选择和无界延迟下，无需独立性假设，证明了 $ \mathbb{E}\|\nabla f(x^k)\|_2 \to 0 $ 的收敛性。
• 对于强凸函数，在适当的步长和延迟自适应规则下，实现了线性收敛 $ \mathbb{E}(f(x^k) - \min f) = O(c^k) $，其中 $ c < 1 $。
• 在确定性块选择与 ECSD 假设下，对任意 $ T \geq B $，有 $ \lim_{k \in Q_T} \|\nabla f(x^k)\|_2 = 0 $，确保了在有界延迟子序列上的收敛性。
• 李雅普诺夫函数 $ H_k = f(x^k) + \frac{L}{2} \sum_{i=1}^\infty \kappa_i \|\Delta^{k-i}\|_2^2 $ 确保了充分下降和延迟感知的稳定性。
• 该分析将延迟视为系统结构特征而非噪声，从而实现了更紧密且更符合现实的收敛性保证。
• 在单一理论框架下，实现了对有界和无界延迟、非凸、弱凸和强凸函数的收敛性证明。