[论文解读] Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights

Caihua Chen, Min Li+2 more|arXiv (Cornell University)|Aug 2, 2015

Sparse and Compressive Sensing Techniques参考文献 52被引用 8

一句话总结

该论文建立了带有二次耦合项的非可分凸优化问题的近端ADMM与块坐标下降（BCD）的收敛性，证明了2-块近端ADMM的逐点收敛性，以及随机排列ADMM（RPADMM）和BCD（RPBCD）的期望收敛性。该工作首次在不假设迭代序列有界的前提下，获得了循环BCD的迭代收敛结果，揭示了在结构良好的问题中，循环BCD可能优于RPBCD。

ABSTRACT

In this paper, we establish the convergence of the proximal alternating direction method of multipliers (ADMM) and block coordinate descent (BCD) for nonseparable minimization models with quadratic coupling terms. The novel convergence results presented in this paper answer several open questions that have been the subject of considerable discussion. We firstly extend the 2-block proximal ADMM to linearly constrained convex optimization with a coupled quadratic objective function, an area where theoretical understanding is currently lacking, and prove that the sequence generated by the proximal ADMM converges in point-wise manner to a primal-dual solution pair. Moreover, we apply randomly permuted ADMM (RPADMM) to nonseparable multi-block convex optimization, and prove its expected convergence for a class of nonseparable quadratic programming problems. When the linear constraint vanishes, the 2-block proximal ADMM and RPADMM reduce to the 2-block cyclic proximal BCD method and randomly permuted BCD (RPBCD). Our study provides the first iterate convergence result for 2-block cyclic proximal BCD without assuming the boundedness of the iterates. We also theoretically establish the expected iterate convergence result concerning multi-block RPBCD for convex quadratic optimization. In addition, we demonstrate that RPBCD may have a worse convergence rate than cyclic proximal BCD for 2-block convex quadratic minimization problems. Although the results on RPADMM and RPBCD are restricted to quadratic minimization models, they provide some interesting insights: 1) random permutation makes ADMM and BCD more robust for multi-block convex minimization problems; 2) cyclic BCD may outperform RPBCD for "nice" problems, and therefore RPBCD should be applied with caution when solving general convex optimization problems.

研究动机与目标

• 建立带有二次耦合项的非可分凸最小化模型的近端ADMM与BCD的收敛性。
• 解决由于耦合二次项导致目标函数非可分时，多块ADMM与BCD收敛性的开放问题。
• 分析ADMM与BCD在二次优化中循环更新与随机排列更新之间的性能差异。
• 在不假设迭代有界性的前提下，首次获得2-块循环近端BCD的迭代收敛结果。
• 为块优化方法中随机排列更新与循环更新的鲁棒性及相对性能提供理论洞察。

提出的方法

• 将2-块近端ADMM扩展至带有耦合二次目标的线性约束凸优化问题，采用Gauss–Seidel更新与近端正则化。
• 将随机排列ADMM（RPADMM）应用于多块问题，并证明其对一类非可分二次规划问题的期望收敛性。
• 当线性约束消失时，将2-块近端ADMM与RPADMM简化为循环与随机排列BCD（RPBCD）。
• 利用矩阵分析与特征值分解，证明Hessian矩阵与更新矩阵的结构性质。
• 采用数学归纳法与行列式分析，建立迭代矩阵特征方程中的多项式结构。
• 通过分析分块矩阵的秩性质，证明零空间维数的等价性，从而支持收敛性证明。

实验结果

研究问题

• RQ1 对于带有二次耦合项的非可分凸最小化问题，2-块近端ADMM是否收敛？
• RQ2 随机排列ADMM（RPADMM）是否能对非可分多块二次规划问题实现期望收敛？
• RQ3 在不假设迭代有界性的前提下，循环近端BCD是否具有收敛保证？
• RQ4 多块RPBCD在凸二次优化中是否实现期望迭代收敛？
• RQ5 在结构良好的问题中，RPBCD的收敛速度与循环BCD相比如何？

主要发现

• 2-块近端ADMM以逐点方式收敛至非可分凸问题的原始-对偶解对，该问题具有二次耦合项。
• RPADMM对一类非可分二次规划问题实现了期望收敛。
• 首次在不假设迭代有界性的前提下，建立了2-块循环近端BCD的迭代收敛结果。
• 证明了多块RPBCD在凸二次优化中的期望迭代收敛性。
• 对于2-块凸二次优化问题，RPBCD的收敛速度可能慢于循环BCD，表明在‘良好’问题中循环更新可能更有效。
• 随机排列可提升多块ADMM与BCD的鲁棒性，但应谨慎使用，因其可能在结构化问题上降低性能。