[论文解读] Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|May 16, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用 6

一句话总结

本文在较弱的附加假设下，建立了未修改的三块ADMM在第三块目标函数光滑且强凸、条件数位于[1, 1.0798)区间的一类凸最小化问题上的全局收敛性。关键贡献在于证明了三块ADMM对任意惩罚参数γ > 0均全局收敛，实现了参数无限制——与以往结果不同，后者要求γ有上界，从而限制了实际效率。

ABSTRACT

The alternating direction method of multipliers (ADMM) has been successfully applied to solve structured convex optimization problems due to its superior practical performance. The convergence properties of the 2-block ADMM have been studied extensively in the literature. Specifically, it has been proven that the 2-block ADMM globally converges for any penalty parameter $γ>0$. In this sense, the 2-block ADMM allows the parameter to be free, i.e., there is no need to restrict the value for the parameter when implementing this algorithm in order to ensure convergence. However, for the 3-block ADMM, Chen \etal \cite{Chen-admm-failure-2013} recently constructed a counter-example showing that it can diverge if no further condition is imposed. The existing results on studying further sufficient conditions on guaranteeing the convergence of the 3-block ADMM usually require $γ$ to be smaller than a certain bound, which is usually either difficult to compute or too small to make it a practical algorithm. In this paper, we show that the 3-block ADMM still globally converges with any penalty parameter $γ>0$ if the third function $f_3$ in the objective is smooth and strongly convex, and its condition number is in $[1,1.0798)$, besides some other mild conditions. This requirement covers an important class of problems to be called regularized least squares decomposition (RLSD) in this paper.

研究动机与目标

• 解决一个开放问题：在未附加条件时，三块ADMM可能发散，因此需确定其是否可在不施加惩罚参数γ限制的情况下实现全局收敛。
• 识别三块ADMM对任意γ > 0保持全局收敛的充分条件，从而实现参数无限制收敛。
• 将已知对任意γ > 0全局收敛的两块ADMM的收敛保证，扩展至三块情况，但需对第三函数f₃施加特定结构假设。
• 识别并分析一类自然问题类，称为正则化最小二乘分解（RLSD），在此类问题中，三块ADMM对任意γ > 0实现全局收敛。

提出的方法

• 作者分析了具有三块结构的凸优化问题中的三块ADMM，其中第三函数f₃光滑且强凸，条件数在[1, 1.0798)区间内。
• 通过李雅普诺夫函数方法推导收敛保证，证明在给定条件下，每次迭代中增广拉格朗日函数均足够下降。
• 该方法依赖于分析增广拉格朗日函数的下降性质，并证明迭代序列有界且收敛至解。
• 证明技术通过结合f₃的强凸性和光滑性，扩展了ADMM的先前收敛框架，以控制对偶更新并确保全局收敛。
• 分析假设A₃ = I，并从约束集中移除变量x₃，简化结构以聚焦于f₃在稳定化中的作用。
• 作者使用一种新颖的势函数，将增广拉格朗日函数与与f₃强凸性相关的二次项结合，以证明收敛性。

实验结果

研究问题

• RQ1 三块ADMM是否可在任意惩罚参数γ > 0下实现全局收敛，而无需对γ施加上界？
• RQ2 第三块目标函数f₃的何种结构条件可确保三块ADMM对任意γ > 0实现全局收敛？
• RQ3 f₃的条件数是否在实现三块ADMM参数无限制收敛中起关键作用？
• RQ4 是否存在一类自然问题，使得三块ADMM对任意γ > 0实现全局收敛，从而具备实际效率？

主要发现

• 当f₃光滑且强凸、条件数在[1, 1.0798)区间内，并在较弱假设下，三块ADMM对任意γ > 0实现全局收敛。
• 该结果首次为未修改的三块ADMM提供了无γ上界限制的全局收敛保证，解决了先前工作的关键局限。
• 收敛性在A₃ = I且x₃未受约束的条件下得到证明，聚焦于f₃的强凸性和光滑性的作用。
• 该方法适用于一类广泛的问题，称为正则化最小二乘分解（RLSD），包括机器学习和信号处理中的许多实际应用。
• 数值实验表明，当γ = 0.7和γ = 1.2时，三块ADMM在不同规模问题上均可靠收敛，迭代次数和CPU时间适度增加。
• 相比之下，当γ超过某一阈值时，两块ADMM变体在较大问题上发散或停滞，凸显了本文对f₃施加条件的重要性。