[论文解读] Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems

Mingyi Hong, Zhi‐Quan Luo+1 more|arXiv (Cornell University)|Oct 6, 2014

Sparse and Compressive Sensing Techniques参考文献 47被引用 19

一句话总结

本文通过证明当惩罚参数足够大时，无需对迭代序列做假设，即可确保交替方向乘子法（ADMM）在一类非凸优化问题（包括一致性问题和共享问题）上全局收敛至驻点解，从而建立了ADMM在非凸问题上的全局收敛性。该分析将增广拉格朗日函数用作类似李雅普诺夫的势函数，将ADMM的收敛性保证拓展至非凸设置之外。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used to solve large-scale linearly constrained optimization problems, convex or nonconvex, in many engineering fields. However there is a general lack of theoretical understanding of the algorithm when the objective function is nonconvex. In this paper we analyze the convergence of the ADMM for solving certain nonconvex consensus and sharing problems, and show that the classical ADMM converges to the set of stationary solutions, provided that the penalty parameter in the augmented Lagrangian is chosen to be sufficiently large. For the sharing problems, we show that the ADMM is convergent regardless of the number of variable blocks. Our analysis does not impose any assumptions on the iterates generated by the algorithm, and is broadly applicable to many ADMM variants involving proximal update rules and various flexible block selection rules.

研究动机与目标

• 为解决ADMM在非凸优化中，特别是多块问题上的理论收敛性保证缺失问题。
• 在一类非凸问题上，于温和且可验证的条件下，建立ADMM全局收敛至驻点解的理论。
• 消除对算法迭代序列不可验证假设的依赖，这些假设在以往的收敛性分析中普遍存在。
• 将收敛结果推广至具有耦合函数和多个变量块的非凸问题。
• 提出一个基于增广拉格朗日函数作为势函数的一般性框架，用于非凸ADMM的收敛性分析。

提出的方法

• 使用增广拉格朗日函数作为势函数以引导收敛性分析，将其视为类似李雅普诺夫函数。
• 对问题结构和迭代序列施加一组可验证的假设（假设D），包括有界性和增长条件。
• 要求惩罚参数ρ足够大，以确保子问题的强凸性并控制对偶更新的增长。
• 在增广拉格朗日函数上应用下降论证，表明其递减且有下界。
• 对一致性问题和共享问题分别进行分析，证明在假设D下可收敛至驻点解。
• 将分析扩展至带有邻近项和灵活块选择规则的变体，同时保持收敛性保证。

实验结果

研究问题

• RQ1 ADMM在具有多个变量块的非凸问题下，于何种条件下可实现全局收敛？
• RQ2 能否在不预先假设迭代序列有界或收敛的前提下，保证ADMM在非凸问题上的收敛性？
• RQ3 惩罚参数ρ在确保非凸ADMM收敛性方面起到何种作用？
• RQ4 增广拉格朗日函数能否作为非凸ADMM收敛性分析的有效势函数？
• RQ5 耦合函数ℓ(x)的结构如何影响非凸设置下ADMM的收敛性？

主要发现

• 当惩罚参数ρ足够大时，ADMM在非凸一致性问题和共享问题上收敛至驻点解的集合。
• 收敛性保证无需依赖对迭代序列有界性或收敛性的假设，优于以往工作。
• 在所提条件下，原始可行性间隙‖q - Axᵗ⁺¹‖在极限下收敛至零。
• 该分析适用于带有邻近项和灵活块选择规则的ADMM变体，显著拓宽了其适用范围。
• 对于一类具有可逆耦合矩阵的两区块非凸问题，当ρ > L_g / λ_min(AAᵀ)时收敛成立，该条件可验证。
• 在假设D1下，证明了增广拉格朗日函数具有统一的下界，这对收敛性至关重要。