[论文解读] A Convergent 3-Block Semi-Proximal Alternating Direction Method of Multipliers for Conic Programming with $4$-Type of Constraints

Defeng Sun, Kim-Chuan Toh+1 more|arXiv (Cornell University)|Apr 22, 2014

Sparse and Compressive Sensing Techniques参考文献 31被引用 49

一句话总结

该论文提出了一种收敛的三块半近端 ADMM（sPADMM3c），用于具有四种约束类型的锥规划问题，采用一种新颖的 1→3→2→3 块坐标下降循环以确保收敛性，同时在性能上优于非收敛的直接扩展 ADMM。该方法在 550 个大规模双非负 SDP 问题上实现了至少 20% 的性能提升，解决了理论收敛性与实际效率之间的权衡。

ABSTRACT

The objective of this paper is to design an efficient and convergent alternating direction method of multipliers (ADMM) for finding a solution of medium accuracy to conic programming problems whose constraints consist of linear equalities, linear inequalities, a non-polyhedral cone and a polyhedral cone. For this class of problems, one may apply the directly extended ADMM to their dual, which can be written in the form of convex programming with four separable blocks in the objective function and a coupling linear equation constraint. Indeed, the directly extended ADMM, though may diverge in theory, often performs much better numerically than many of its variants with theoretical convergence guarantee. Ideally, one should find a convergent variant which is at least as efficient as the directly extended ADMM in practice. We achieve this goal by designing a convergent semi-proximal ADMM (called sPADMM3c for convenience) for convex programming problems having three separable blocks in the objective function with the third part being linear. At each iteration, the proposed sPADMM3c takes one special block coordinate descent (BCD) cycle with the order $1 ightarrow 3 ightarrow 2 ightarrow 3$, instead of the usual $1 ightarrow 2 ightarrow 3$ Gauss-Seidel BCD cycle used in the non-convergent directly extended $3$-block ADMM, for updating the variable blocks. Our extensive numerical tests on the important class of doubly non-negative semidefinite programming (SDP) problems with linear equality and/or inequality constraints demonstrate that our convergent method is at least $20%$ faster than the directly extended ADMM with unit step-length for the vast majority of about $550$ large scale problems tested.

研究动机与目标

• 设计一种适用于四类约束（线性等式、不等式、非多面体锥、多面体锥）的锥规划收敛 ADMM 变体。
• 解决多块 ADMM 方法中实际效率与理论收敛性之间的差距，特别是针对三块问题。
• 开发一种在保证收敛性的同时保持高数值效率的方法，克服直接扩展 ADMM 的发散问题。
• 为中等精度解提供一种可靠、快速且收敛的一阶方法，特别适用于双非负 SDP 问题。
• 使该方法可作为大规模锥规划中快速局部求解器的热启动工具。

提出的方法

• 该方法将半近端 ADMM 框架应用于锥规划的对偶形式，将问题重构为具有耦合线性等式约束的四块可分凸优化问题。
• 采用一种新颖的块更新顺序（1→3→2→3），而非标准的 1→2→3 Gauss–Seidel 循环，以确保收敛性同时保持效率。
• 通过引入近端项来稳定迭代过程并确保收敛性，利用 Moreau 分解定理实现对锥的投影运算。
• 通过增广拉格朗日函数中的度量投影和指示函数，分别处理非多面体锥（如半正定矩阵）和多面体锥（如非负元素）。
• 算法采用基于可行性、最优性及对偶间隙的自适应终止准则，使用按问题范数缩放的相对残差。
• 通过引入额外的矩阵变量将双非负 SDP 问题重新表述为四块形式，以分离非负约束与半正定约束。

实验结果

研究问题

• RQ1 能否设计一种收敛的三块 ADMM，使其在锥规划中保持非收敛直接扩展 ADMM 的数值效率？
• RQ2 非标准的块更新顺序（1→3→2→3）是否能实现收敛性，同时保持或提升实际性能？
• RQ3 该方法在大规模锥规划问题上是否能在速度和可靠性方面优于标准单位步长直接扩展 ADMM？
• RQ4 所提出的方法是否适合作为大规模锥规划中快速局部优化方法的热启动工具？
• RQ5 在 ADMM 框架中使用半近端项是否能确保收敛性而不牺牲计算效率？

主要发现

• 所提出的 sPADMM3c 方法在 550 个大规模双非负 SDP 问题上，相较于单位步长的直接扩展 ADMM，性能至少提升 20%。
• sPADMM3c 的效率优于 sPadmm 4d 和 sPadmm 4d(1)，即使后者采用最优步长 τ=1.618。
• 性能分析表明，对于大多数测试问题，sPADMM3c 所需迭代次数少于采用 τ=1.618 的 sPadmm 4d。
• 尽管引入额外矩阵变量带来少量开销，但 sPADMM3c 因更优的收敛行为仍保持整体更快性能。
• 该方法在所有测试问题上均实现相对间隙和可行性残差低于 10−5，证实其鲁棒性。
• 结果表明，精心设计的块坐标下降循环可在多块 ADMM 中同时实现理论收敛性与优越的数值效率。