[论文解读] Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems

Fenghui Wang, Zongben Xu+1 more|arXiv (Cornell University)|Oct 31, 2014

Sparse and Compressive Sensing Techniques参考文献 41被引用 59

一句话总结

该论文建立了非凸复合优化问题中Bregman交替方向乘子法（BADMM）的收敛性。在较弱假设下，包括次解析性与Kurdyka-Łojasiewicz（K-L）不等式，BADMM即使在目标函数非凸的情况下，也能收敛到增广拉格朗日函数的驻点，通过引入Bregman距离来提升算法性能与收敛稳定性。

ABSTRACT

The alternating direction method with multipliers (ADMM) has been one of most powerful and successful methods for solving various convex or nonconvex composite problems that arise in the fields of image & signal processing and machine learning. In convex settings, numerous convergence results have been established for ADMM as well as its varieties. However, due to the absence of convexity, the convergence analysis of nonconvex ADMM is generally very difficult. In this paper we study the Bregman modification of ADMM (BADMM), which includes the conventional ADMM as a special case and often leads to an improvement of the performance of the algorithm. Under certain assumptions, we prove that the iterative sequence generated by BADMM converges to a stationary point of the associated augmented Lagrangian function. The obtained results underline the feasibility of ADMM in applications under nonconvex settings.

研究动机与目标

• 为解决ADMM在非凸设置下缺乏收敛保证的问题，传统凸分析工具在此失效。
• 通过Bregman距离改进（BADMM），将ADMM的收敛理论扩展至非凸复合问题。
• 建立BADMM在非凸条件下收敛至驻点的条件。
• 展示非凸模型（如ℓ₁/₂正则化）相较于凸模型（如ℓ₁）在促进稀疏性与加速收敛方面的优越性。
• 为在真实世界问题（如稀疏信号恢复与矩阵补全）中应用BADMM提供理论基础。

提出的方法

• 提出BADMM，通过在子问题中添加Bregman距离项来改进标准ADMM，以提升收敛性与性能。
• 使用带惩罚参数α与对偶变量p的增广拉格朗日函数，以强制约束Ax = By。
• 分别在y-子问题与x-子问题中引入Bregman距离Δψ(y, yᵏ)与Δϕ(x, xᵏ)，以正则化更新过程。
• 利用Kurdyka-Łojasiewicz（K-L）不等式与次解析函数假设，通过辅助函数的充分下降性质建立收敛性。
• 分析收敛阶与变量更新序列的依赖性，表明交替更新x与y对推导下降关系至关重要。
• 将该方法应用于使用ℓ₁/₂准范数正则化的非凸稀疏恢复问题，并与ℓ₁为基础的凸模型进行比较。

实验结果

研究问题

• RQ1 在合理假设下，BADMM能否在非凸复合问题中收敛至驻点？
• RQ2 Bregman距离的引入如何影响ADMM在非凸设置下的收敛行为与性能？
• RQ3 哪些目标函数条件（如次解析性、K-L不等式）足以确保BADMM的收敛性？
• RQ4 在实践中，非凸正则化（如ℓ₁/₂）是否比凸正则化（如ℓ₁）带来更快的收敛速度与更好的稀疏性？
• RQ5 变量更新顺序（先x后y vs. 先y后x）如何影响BADMM的收敛性证明与稳定性？

主要发现

• 在次解析性与Kurdyka-Łojasiewicz（K-L）不等式假设下，BADMM收敛至增广拉格朗日函数的驻点。
• 收敛性通过辅助函数的充分下降性质建立，而非增广拉格朗日函数本身。
• 数值实验中，BADMM实现更快收敛与更好稀疏性，尤其在使用ℓ₁/₂正则化（HADMM）时相比ℓ₁（SADMM）表现更优。
• 在数值实验中，xᵏ与yᵏ序列的均方误差（MSE）随迭代次数减少，证实收敛至真实解。
• HADMM的收敛速度显著快于SADMM，尤其在yᵏ序列中，展示了非凸正则化在稀疏恢复中的优势。
• 只要满足K-L不等式与次解析性条件，即使目标函数非凸，收敛性也具有鲁棒性。