[论文解读] A Convergent Proximal Alternating Direction Method of Multipliers for Conic Programming with 4-Block Constraints

Defeng Sun, Kim-Chuan Toh+1 more|arXiv (Cornell University)|Apr 22, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用 19

一句话总结

本文提出了一种用于具有4块约束的锥规划的收敛增广拉格朗日乘子法（ADMM），结合了理论收敛性与优越的数值性能。该方法将3块的增广拉格朗日乘子法扩展至4块，相较于直接扩展的非收敛ADMM，在550个大规模双非负半定规划（SDP）问题上实现了至少20%的更快收敛速度。

ABSTRACT

The objective of this paper is to design an efficient and convergent ADMM (alternating direction method of multipliers) type method for finding a solution of medium accuracy to conic programming problems whose constraints consist of linear equalities, linear inequalities, a nonpolyhedral cone and a polyhedral cone. For this class of problems, one may apply the directly extended ADMM to their dual, which can be written in the form of convex programming of four separate blocks in the objective function with a coupling linear equation constraint. Indeed, the directly extended ADMM, though may diverge in theory, performs much better numerically than many of its variants with theoretical convergence guarantee. Ideally, one should find a convergent version that performs at least as efficiently as the directly extended ADMM in practice. We achieve this goal by proposing a convergent (proximal) ADMM first for convex programming problems of three separate blocks in the objective function with the third part being linear and then extend it to the general case. Our extensive numerical tests on the important class of doubly non-negative semidefinite programming (SDP) problems with linear equality and/or inequality constraints demonstrate that our convergent method is at least 20% faster than the directly extended ADMM with unit step-length for the vast majority of about 550 large scale problems tested. This confirms that our ADMM type algorithm can have both theoretical convergence guarantee and superior numerical efficiency over the directly extended ADMM.

研究动机与目标

• 解决在具有4块约束的锥规划中，ADMM的数值效率与理论收敛性之间的差距。
• 在保持其强大数值性能的同时，克服直接扩展ADMM的理论发散问题。
• 设计一种收敛算法，其效率与非收敛直接扩展方法相当或更优。
• 将经过验证的3块增广拉格朗日乘子法框架扩展至处理具混合锥约束的一般4块问题。
• 在大规模双非负半定规划问题上，展示所提方法的实际优越性。

提出的方法

• 针对三块凸规划（其中第三块为线性）提出一种增广拉格朗日乘子法，通过增广项正则化确保收敛性。
• 通过重新表述具有混合线性、非多面体及多面体锥约束的锥规划的对偶问题，将三块方法扩展为四块框架。
• 在增广拉格朗日函数中引入增广项，以稳定迭代过程，并在较弱条件下保证收敛性。
• 保持单一步长（单位步长）以维持计算效率，同时保证收敛性。
• 将该方法应用于锥规划的对偶问题，将其转化为具有耦合线性等式约束的四块结构化优化问题。
• 采用交替最小化策略，对每个块进行增广更新，确保全局收敛至中等精度解。

实验结果

研究问题

• RQ1 能否设计一种用于4块锥规划的收敛ADMM，其数值效率与非收敛的直接扩展ADMM相当或更优？
• RQ2 增广正则化在多块ADMM用于锥优化时，如何影响收敛性与性能？
• RQ3 在大规模双非负半定规划问题上，所提方法在实际中相比直接扩展ADMM的性能优势有多大？
• RQ4 3块增广拉格朗日乘子法框架能否有效扩展至处理具混合锥约束的4块问题？
• RQ5 与现有ADMM变体相比，所提方法在收敛速度与鲁棒性方面的实证性能增益如何？

主要发现

• 所提收敛增广拉格朗日乘子法在550个大规模双非负半定规划问题上，相较于使用单位步长的直接扩展ADMM，收敛速度至少快20%。
• 该方法在保证全局收敛的同时维持了高数值效率，解决了直接扩展ADMM的理论不稳定性问题。
• 大量数值实验表明，该算法在各类大规模锥规划实例中均表现出鲁棒性与可扩展性。
• 增广正则化有效稳定了ADMM迭代过程，且未牺牲计算速度。
• 性能增益在大多数测试问题中保持一致，表明其具有广泛的实用适用性。
• 该方法成功将3块增广拉格朗日乘子法扩展至4块问题，使其适用于具有混合约束的复杂锥规划。