[论文解读] Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I

Sandeep Kumar, Ketan Rajawat+1 more|arXiv (Cornell University)|Jul 21, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用 4

一句话总结

本文提出了一种用于求解大规模非凸优化问题的分布式、不精确连续凸逼近交替方向乘子法框架（DISC-ADMM），能够灵活处理误差、延迟和异步问题。在较弱假设下建立了首阶收敛速率保证，表明迭代序列收敛至 𝜖-稳定点，其中 𝜖 = O(ET + 1/T)，ET 表征不精确更新或噪声带来的总误差。

ABSTRACT

In this two-part work, we propose an algorithmic framework for solving non-convex problems whose objective function is the sum of a number of smooth component functions plus a convex (possibly non-smooth) or/and smooth (possibly non-convex) regularization function. The proposed algorithm incorporates ideas from several existing approaches such as alternate direction method of multipliers (ADMM), successive convex approximation (SCA), distributed and asynchronous algorithms, and inexact gradient methods. Different from a number of existing approaches, however, the proposed framework is flexible enough to incorporate a class of non-convex objective functions, allow distributed operation with and without a fusion center, and include variance reduced methods as special cases. Remarkably, the proposed algorithms are robust to uncertainties arising from random, deterministic, and adversarial sources. The part I of the paper develops two variants of the algorithm under very mild assumptions and establishes first-order convergence rate guarantees. The proof developed here allows for generic errors and delays, paving the way for different variance-reduced, asynchronous, and stochastic implementations, outlined and evaluated in part II.

研究动机与目标

• 开发一种可扩展的分布式优化框架，用于解决大规模非凸优化问题，该类问题在大数据应用中频繁出现。
• 应对分布式网络中通信延迟、不精确梯度和异步性等实际挑战。
• 将现有方法（如 ADMM、SCA 和不精确梯度方法）统一并推广至单一稳健的框架下。
• 在任意误差序列（包括随机、对抗性和确定性来源）下建立收敛保证。
• 支持在集中式（含融合中心）和去中心化（无融合中心）网络拓扑中的灵活部署。

提出的方法

• 该算法结合 ADMM 式更新与连续凸逼近（SCA）方法，通过用凸代理函数逼近非凸分量来处理非凸性。
• 通过广义不精确梯度方法（IGM）引入不精确梯度与更新，允许迭代中存在任意误差序列。
• 该框架支持分布式实现，既可在有融合中心下运行，也可在无融合中心下运行，从而实现集中式与去中心化操作。
• 将梯度与更新中的误差建模为通用序列，收敛性分析基于累计误差 ET。
• 关键组件包括对偶变量的类似邻近的更新方式，以及跨节点和时间的结构化误差传播模型。
• 理论分析利用李雅普诺夫函数与误差累积界，推导出依赖于 ET 和 T−1 的收敛速率。

实验结果

研究问题

• RQ1 基于 ADMM 的分布式算法是否能在梯度与更新存在任意不精确性的情况下，实现对非凸问题的收敛？
• RQ2 延迟、丢失更新和通信噪声的存在如何影响分布式非凸优化中的收敛性？
• RQ3 该框架是否能统一并分析方差缩减、随机、异步和不精确梯度方法？
• RQ4 算法的收敛速率如何表示为总误差能量 ET 和迭代次数 T 的函数？
• RQ5 该算法在对抗性、随机性和确定性误差源下是否仍保持收敛保证？

主要发现

• 该算法实现了对 𝜖-稳定点的首阶收敛，其中 𝜖 = O(ET + 1/T)，ET 表征不精确更新带来的累积误差。
• 收敛速率对任意误差序列（包括随机、对抗性和确定性误差）具有鲁棒性，无需假设无偏性或有界方差。
• 该框架允许异步和延迟更新，以及丢失更新，且不牺牲收敛保证。
• 分析表明，次梯度残差的期望平方范数以 O(ET + 1/T) 的速率趋于零，证实了在误差累积下的平稳性。
• 该方法推广了现有的随机和不精确 ADMM 变体，并可特化为新型方差缩减或量化优化算法。
• 收敛结果在集中式与去中心化网络架构下均成立，展示了部署的灵活性。