[论文解读] Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees

Hamid Reza Feyzmahdavian, Mikael Johansson|arXiv (Cornell University)|Sep 9, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了异步优化中基于序列的新型收敛结果，实现了对收敛速率的更精确、显式边界估计，且该边界依赖于异步程度。通过统一分析关键算法族，本文改进了近端增量梯度方法的迭代复杂度，利用平均延迟改进了异步SGD的保证，并在一般延迟模型下为块坐标更新和完全异步方案提供了更紧的收敛速率。

ABSTRACT

We introduce novel convergence results for asynchronous iterations that appear in the analysis of parallel and distributed optimization algorithms. The results are simple to apply and give explicit estimates for how the degree of asynchrony impacts the convergence rates of the iterates. Our results shorten, streamline and strengthen existing convergence proofs for several asynchronous optimization methods and allow us to establish convergence guarantees for popular algorithms that were thus far lacking a complete theoretical understanding. Specifically, we use our results to derive better iteration complexity bounds for proximal incremental aggregated gradient methods, to obtain tighter guarantees depending on the average rather than maximum delay for the asynchronous stochastic gradient descent method, to provide less conservative analyses of the speedup conditions for asynchronous block-coordinate implementations of Krasnoselskii-Mann iterations, and to quantify the convergence rates for totally asynchronous iterations under various assumptions on communication delays and update rates.

研究动机与目标

• 解决在现实异步模型下，异步优化算法缺乏显式、紧致收敛速率保证的问题。
• 统一并简化Hogwild!、ASGD、ARock和Asaga等流行异步方法的收敛证明，这些方法此前依赖于复杂且特定于场景的归纳法。
• 开发可推广的理论工具，捕捉异步性对算法结构的影响，而非将其视为噪声或最坏情况扰动。
• 在有界和无界通信延迟下量化收敛速率，特别是针对完全异步迭代。
• 通过基于平均延迟而非最大延迟的步长规则和复杂度界，提升算法效率。

提出的方法

• 引入两类由特定不等式定义的序列族，用于建模优化中异步迭代的动力学行为。
• 为这些序列族推导出一般收敛定理，基于最大延迟或平均延迟等异步参数，提供显式的衰减速率。
• 将这些序列结果应用于近端增量梯度方法的分析，推导出改进的迭代复杂度界。
• 利用该框架分析具有延迟相关步长的异步随机梯度下降，获得依赖于平均延迟而非最大延迟的更紧界。
• 将结果应用于块坐标更新下的Krasnosel’skiĭ-Mann迭代，改进了加速效果和步长范围的保证。
• 通过构造具有多项式衰减速率的类李雅普诺夫函数，建立在无界线性增长延迟下完全异步迭代的收敛速率。

实验结果

研究问题

• RQ1 我们如何为依赖于异步程度的异步优化算法，推导出显式、非渐近的收敛速率边界？
• RQ2 我们能否通过识别共有的序列结构，统一并简化ASGD、ARock和近端IAG等异步方法的现有收敛证明？
• RQ3 在步长规则和复杂度界中，使用平均延迟而非最大延迟，能在多大程度上改善收敛保证？
• RQ4 当通信延迟无界增长时，完全异步迭代的收敛速率可建立为何种形式？
• RQ5 所提出的序列结果在多大程度上提升了对块坐标和基于伪压缩映射的异步算法的理论理解？

主要发现

• 对于凸L-光滑目标函数上的近端增量梯度方法，迭代复杂度被改进为O(Lτ/ε)，相比先前的O(L²τ³/ε)有显著降低。
• 在二次型函数增长条件下，迭代复杂度变为O(Qτ log(1/ε))，其中Q = L/μ为条件数，且该方法允许比先前结果更大的步长。
• 对于异步随机梯度下降，分析提供了依赖于平均延迟而非最大延迟的更紧收敛保证，提升了实用性和可扩展性。
• 由于新的基于序列的分析，ARock框架在异步块坐标更新中实现了更快的收敛速率和更广的可接受步长范围。
• 对于具有无界线性增长延迟的完全异步迭代，收敛速率被证明为O(1/k^η)（η > 0），在现实延迟模型下建立了显式衰减。
• 该框架恢复并强化了先前工作中得到的渐近收敛结果，同时提供显式、可量化的边界，展示了其通用性与强大性。