[论文解读] Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming

Deren Han, Defeng Sun+1 more|arXiv (Cornell University)|Aug 10, 2015

Sparse and Compressive Sensing Techniques参考文献 45被引用 25

一句话总结

该论文在不依赖强凸性或严格互补性条件下，通过误差界条件建立了半近端ADMM在凸复合二次与半定规划问题上的全局线性收敛速率。关键贡献在于通过二阶最优性与严格Robinson约束规范，完全刻画了孤立次稳定性的性质，从而实现了对两块及多块问题的线性收敛。

ABSTRACT

In this paper, we aim to provide a comprehensive analysis on the linear rate convergence of the alternating direction method of multipliers (ADMM) for solving linearly constrained convex composite optimization problems. Under a certain error bound condition, we establish the global linear rate of convergence for a more general semi-proximal ADMM with the dual steplength being restricted to be in the open interval $(0, (1+\sqrt{5})/2)$. In our analysis, we assume neither the strong convexity nor the strict complementarity except an error bound condition, which holds automatically for convex composite quadratic programming. This semi-proximal ADMM, which includes the classic ADMM, not only has the advantage to resolve the potentially non-solvability issue of the subproblems in the classic ADMM but also possesses the abilities of handling multi-block convex optimization problems efficiently. We shall use convex composite quadratic programming and quadratic semi-definite programming as important applications to demonstrate the significance of the obtained results. Of its own novelty in second-order variational analysis, a complete characterization is provided on the isolated calmness for the nonlinear convex semi-definite optimization problem in terms of its second order sufficient optimality condition and the strict Robinson constraint qualification for the purpose of proving the linear rate convergence of the semi-proximal ADMM when applied to two- and multi-block convex quadratic semi-definite programming.

研究动机与目标

• 建立半近端ADMM在具有线性约束的凸复合优化问题上的全局线性收敛速率。
• 在不假设强凸性或严格互补性的条件下分析收敛性，这与以往研究中常用的假设不同。
• 对凸半定优化问题的二阶变分分析中孤立次稳定性的完全刻画。
• 展示结果在凸复合二次与半定规划问题上的适用性与重要性。
• 为将线性收敛分析扩展至非多面体锥优化问题奠定基础。

提出的方法

• 分析基于半近端ADMM（sPADMM）框架，该框架通过允许对偶步长在 (0, (1+√5)/2) 范围内，推广了经典ADMM。
• 该方法采用带近端项的增广拉格朗日函数，以确保子问题的可解性与稳定性。
• 关键技术工具是误差界条件，其替代了强凸性，从而支持线性收敛分析。
• 利用二阶最优性条件与严格Robinson约束规范，刻画KKT映射的孤立次稳定性。
• 严格证明了二阶最优性、严格约束规范与KKT映射逆的孤立次稳定性之间的等价关系。
• 该分析被应用于两块及多块凸二次半定规划问题，展示了其实际相关性。

实验结果

研究问题

• RQ1 在何种条件下，半近端ADMM可实现凸复合二次与半定规划问题的全局线性收敛？
• RQ2 是否可在不假设强凸性或严格互补性的前提下建立线性收敛性？
• RQ3 误差界条件在确保sPADMM线性收敛中起何种精确作用？
• RQ4 二阶最优性与严格Robinson约束规范如何与KKT映射的孤立次稳定性相关联？
• RQ5 该收敛分析能否扩展至超出半正定锥的非多面体锥优化问题？

主要发现

• 在误差界条件下，sPADMM即使在不具强凸性或严格互补性时，仍可实现全局线性收敛。
• 对于凸复合二次规划问题，误差界条件自动成立，从而确保该情形下的线性收敛。
• KKT映射的孤立次稳定性等价于二阶最优性与严格Robinson约束规范的联合满足。
• 二阶最优性、约束规范与孤立次稳定性之间的等价关系，为凸半定优化中的线性收敛提供了完整刻画。
• 该分析适用于两块与多块凸二次半定规划问题，展示了其广泛适用性。
• 研究结果为将线性收敛分析扩展至不精确sPADMM及其他非多面体锥问题奠定了基础。