[论文解读] A Distributed, Asynchronous and Incremental Algorithm for Nonconvex Optimization: An ADMM Based Approach

Mingyi Hong|arXiv (Cornell University)|Dec 18, 2014

Sparse and Compressive Sensing Techniques参考文献 35被引用 31

一句话总结

该论文提出了一种异步、分布式且增量式的ADMM算法，用于非凸非光滑优化，在异步程度受限的条件下可保证收敛至驻点解。这是首个能同时处理非凸性与异步性的基于ADMM的方法，当步长和延迟边界设置得当时，可保证收敛。

ABSTRACT

The alternating direction method of multipliers (ADMM) has been popular for solving many signal processing problems, convex or nonconvex. In this paper, we study an asynchronous implementation of the ADMM for solving a nonconvex nonsmooth optimization problem, whose objective is the sum of a number of component functions. The proposed algorithm allows the problem to be solved in a distributed, asynchronous and incremental manner. First, the component functions can be distributed to different computing nodes, who perform the updates asynchronously without coordinating with each other. Two sources of asynchrony are covered by our algorithm: one is caused by the heterogeneity of the computational nodes, and the other arises from unreliable communication links. Second, the algorithm can be viewed as implementing an incremental algorithm where at each step the (possibly delayed) gradients of only a subset of component functions are update d. We show that when certain bounds are put on the level of asynchrony, the proposed algorithm converges to the set of stationary solutions (resp. optimal solutions) for the nonconvex (resp. convex) problem. To the best of our knowledge, the proposed ADMM implementation can tolerate the highest degree of asynchrony, among all known asynchronous variants of the ADMM. Moreover, it is the first ADMM implementation that can deal with nonconvexity and asynchrony at the same time.

研究动机与目标

• 设计一种可扩展、去中心化的分布式优化算法，用于处理非凸与非光滑目标函数。
• 在异构计算节点与不可靠通信链路导致的高异步性条件下，实现收敛。
• 开发一种增量更新机制，即使使用部分过时的梯度信息，也仅更新组件梯度的子集。
• 将ADMM扩展至非凸问题，同时在异步环境下保持收敛性保证。
• 首次提供在非凸设置下、具有延迟边界约束的异步ADMM的收敛性分析。

提出的方法

• 该算法采用灵活的近端ADMM框架，各分布式节点异步执行对偶与原始变量更新。
• 每个节点独立使用其分配的分量函数的可能延迟梯度更新本地变量。
• 方法引入近端项以稳定收敛，并允许梯度计算存在有界延迟。
• 当步长足够大且各节点间延迟有界时，可建立收敛性。
• 算法支持增量更新，即每次迭代仅更新部分分量函数，即使使用过时信息亦可。
• 分析通过最大延迟约束来控制异步性，并确保非凸问题下收敛至驻点解集合。

实验结果

研究问题

• RQ1 ADMM能否被扩展至在分布式与异步环境下处理非凸优化问题？
• RQ2 在非凸设置下，何种步长与延迟边界条件可确保异步ADMM的收敛性？
• RQ3 与同步及部分异步ADMM变体相比，所提算法在收敛速度与延迟鲁棒性方面表现如何？
• RQ4 当仅能获取过时梯度（由于通信不可靠或节点异构性）时，算法是否仍能保持收敛？
• RQ5 不同水平的异步性（如单个慢节点 vs. 均匀延迟）对收敛性能有何影响？

主要发现

• 当步长足够大且延迟有界时，所提出的Async-PADMM算法可收敛至非凸问题的驻点解集合。
• 在K=10个节点的实验中，当T_k=5时，Async-PADMM平均仅需190次迭代（ADMM需525次），展现出更优的收敛速度。
• 当单个节点延迟（T_10=10）时，Async-PADMM耗时183次迭代，而ADMM需914次，表明其对极端异步性的强鲁棒性。
• 在问题维度增加（N=1000）与惩罚参数增大（λ=100）时，Async-PADMM仍保持在325次迭代以内，表现稳定。
• Async-PADMM的收敛速率基本不受延迟水平影响，显著优于ADMM与P-ADMM，后两者在延迟增加时出现性能骤降。
• 在已知的ADMM变体中，Async-PADMM对异步性的容忍度最高，适用于大规模、去中心化及实时应用场景。