[论文解读] Convergence of multi-block Bregman ADMM for nonconvex composite problems

Fenghui Wang, Wenfei Cao+1 more|arXiv (Cornell University)|May 12, 2015

Sparse and Compressive Sensing Techniques参考文献 47被引用 24

一句话总结

本文提出了一种用于求解非凸多块复合优化问题的Bregman ADMM变体，通过Kurdyka-Łojasiewicz（K-L）不等式和子解析函数，在非凸设定下建立了三块和N块情形下的收敛性。该方法即使在目标函数非凸时也能确保收敛至驻点，将ADMM的理论基础从两块凸问题扩展至多块非凸问题。

ABSTRACT

The alternating direction method with multipliers (ADMM) has been one of most powerful and successful methods for solving various composite problems. The convergence of the conventional ADMM (i.e., 2-block) for convex objective functions has been justified for a long time, and its convergence for nonconvex objective functions has, however, been established very recently. The multi-block ADMM, a natural extension of ADMM, is a widely used scheme and has also been found very useful in solving various nonconvex optimization problems. It is thus expected to establish convergence theory of the multi-block ADMM under nonconvex frameworks. In this paper we present a Bregman modification of 3-block ADMM and establish its convergence for a large family of nonconvex functions. We further extend the convergence results to the $N$-block case ($N \geq 3$), which underlines the feasibility of multi-block ADMM applications in nonconvex settings. Finally, we present a simulation study and a real-world application to support the correctness of the obtained theoretical assertions.

研究动机与目标

• 建立非凸优化中多块ADMM的收敛性理论，其中传统收敛结果受限。
• 将Bregman ADMM框架扩展至具有非凸复合目标的三块和N块问题。
• 利用Kurdyka-Łojasiewicz（K-L）不等式，为非凸性下收敛至驻点提供理论保证。
• 通过数值仿真和视频背景相减的实际应用验证理论结果。

提出的方法

• 通过在增广拉格朗日子问题中引入Bregman距离，提出一种用于三块问题的Bregman ADMM变体。
• 利用Kurdyka-Łojasiewicz（K-L）不等式和子解析函数假设，证明迭代序列收敛至驻点。
• 引入一种动态惩罚参数更新策略：α = min(α * 1.1, α_max)，以避免手动调参。
• 将该方法应用于低秩加稀疏矩阵分解问题（L + S = M），采用非凸正则化模型。
• 采用三变量分裂格式：L、S 和 T = L + S，通过Bregman距离对每个变量交替最小化。
• 使用SVD对L进行初始化，对S进行零初始化，并基于迭代值的相对变化进行终止判断。

实验结果

研究问题

• RQ1 在一般条件下，能否证明Bregman ADMM在非凸三块问题下的收敛性？
• RQ2 该收敛性理论是否可从三块情形推广至N块（N ≥ 3）非凸复合优化问题？
• RQ3 Kurdyka-Łojasiewicz（K-L）不等式在确保非凸ADMM变体收敛性方面起什么作用？
• RQ4 与标准ADMM相比，Bregman距离的修改在非凸设置下如何改善收敛行为？
• RQ5 所提出的方法能否有效解决实际的非凸问题，如视频监控中的背景相减？

主要发现

• 在K-L不等式和子解析函数假设下，所提出的Bregman ADMM可收敛至三块非凸问题的驻点。
• 已建立一般N块情形（N ≥ 3）的收敛性，将多块ADMM的理论范围扩展至非凸设定。
• 数值仿真显示，相对误差和相对变化均随迭代单调下降，证实了在无噪声和有噪声环境下的收敛性。
• 在视频背景相减应用中，该算法成功将动态前景物体与静态背景分离，展现出鲁棒性和实际应用价值。
• 动态惩罚参数更新策略（α = min(α * 1.1, α_max)）有效避免了手动调参，并支持收敛。
• 基于观测矩阵的SVD初始化显著提升了恢复精度，尤其在低秩矩阵恢复任务中表现突出。