[论文解读] Global Convergence of ADMM in Nonconvex Nonsmooth Optimization

Yu Wang, Wotao Yin+1 more|arXiv (Cornell University)|Nov 18, 2015

Sparse and Compressive Sensing Techniques参考文献 71被引用 201

一句话总结

该论文在目标函数和约束矩阵满足较弱条件的前提下，建立了非凸、非光滑多块优化问题的交替方向乘子法（ADMM）全局收敛性。证明了ADMM对一大类非凸函数（包括$β$-准范数、Schatten-$q$范数，以及非凸稀疏诱导惩罚）的收敛性，并表明ADMM在增广拉格朗日法（ALM）可能失效的情况下仍能收敛，即使惩罚参数有界。

ABSTRACT

In this paper, we analyze the convergence of the alternating direction method of multipliers (ADMM) for minimizing a nonconvex and possibly nonsmooth objective function, $ϕ(x_0,\ldots,x_p,y)$, subject to coupled linear equality constraints. Our ADMM updates each of the primal variables $x_0,\ldots,x_p,y$, followed by updating the dual variable. We separate the variable $y$ from $x_i$'s as it has a special role in our analysis. The developed convergence guarantee covers a variety of nonconvex functions such as piecewise linear functions, $\ell_q$ quasi-norm, Schatten-$q$ quasi-norm ($0

研究动机与目标

• 建立非凸、非光滑多变量块优化问题中ADMM的全局收敛性保证。
• 解决ADMM在非凸问题上行为的长期理论理解空白，尤其是在标准收敛条件不成立时。
• 将ADMM的收敛性扩展至一大类非凸函数，包括$β$-准范数、Schatten-$q$范数，以及MCP和SCAD等非凸惩罚函数。
• 证明ADMM可在增广拉格朗日法（ALM）发散时仍收敛，即使惩罚参数有界。
• 为具有三个或更多块的单调规划提供ADMM收敛的充分条件，这些是所提模型的特例。

提出的方法

• 提出一种适用于最小化可能非凸、非光滑目标函数的ADMM通用框架，受线性等式约束限制，特别处理变量$y$。
• 以增广拉格朗日函数${\mathcal{L}}_{\beta}$为基础求解ADMM子问题，以循环、分块方式更新变量$x_0, \dots, x_p, y$和对偶变量$w$。
• 采用类似李雅普诺夫的分析方法，证明增广拉格朗日函数单调递减且迭代序列有界，利用利普希茨连续性和矩阵性质。
• 通过验证四个关键条件（P1–P4）建立收敛性：增广拉格朗日函数单调递减、下有界，以及迭代序列有界。
• 提出一个新颖的反例，表明ADMM收敛而ALM发散，即使$\beta$有界，从而说明ADMM在非凸设置下的鲁棒性。
• 将分析扩展至处理非凸约束，如紧致流形（例如Stiefel、Grassmann）和线性互补约束，通过在目标函数中嵌入指示函数实现。

实验结果

研究问题

• RQ1 在何种条件下，ADMM能对非凸、非光滑多块优化问题实现全局收敛？
• RQ2 当增广拉格朗日法（ALM）发散时，ADMM是否仍能收敛，即使惩罚参数有界？
• RQ3 哪些类别的非凸函数和约束与ADMM的全局收敛性相容？
• RQ4 ADMM更新格式中对$y$变量的特殊处理如何影响收敛性保证？
• RQ5 在具有三个或更多块的单调规划中，ADMM收敛的充分条件是什么？

主要发现

• ADMM对一大类非凸、非光滑函数实现全局收敛，包括$\ell_q$准范数（$0 < q < 1$）、Schatten-$q$准范数、MCP和SCAD惩罚。
• ADMM可在增广拉格朗日法（ALM）发散时仍收敛，通过一个$\beta$有界的反例得到验证，表明ADMM在非凸设置下具有更强的鲁棒性。
• 在较弱假设下保证收敛：目标函数连续且下半连续，约束矩阵满足某些正则性条件，包括有界条件数。
• 迭代序列$\{x^k, y^k, w^k\}$保持有界，且增广拉格朗日函数单调递减，确保收敛至临界点。
• 通过在目标函数中引入指示函数，分析覆盖了非凸约束，如紧致流形（例如球面、Stiefel、Grassmann）和线性互补约束。
• 对于$x_0$-块，仅需下半连续性，使该框架适用于稀疏优化、矩阵分解和统计学习等广泛的实际问题。