[論文レビュー] A Convergent Proximal Alternating Direction Method of Multipliers for Conic Programming with 4-Block Constraints

Defeng Sun, Kim-Chuan Toh+1 more|arXiv (Cornell University)|Apr 22, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用数 19

ひとこと要約

本稿は、4ブロック制約を伴う円錐プログラミングの収束性を保証するプロキシマル ADMM を提案する。理論的収束性と優れた数値的性能を統合しており、3ブロックのプロキシマル ADMM を4ブロックに拡張することで、550件の大型二重非負性SDP問題において、非収束性を示す直接拡張ADMM よりも少なくとも20%速い収束を達成した。

ABSTRACT

The objective of this paper is to design an efficient and convergent ADMM (alternating direction method of multipliers) type method for finding a solution of medium accuracy to conic programming problems whose constraints consist of linear equalities, linear inequalities, a nonpolyhedral cone and a polyhedral cone. For this class of problems, one may apply the directly extended ADMM to their dual, which can be written in the form of convex programming of four separate blocks in the objective function with a coupling linear equation constraint. Indeed, the directly extended ADMM, though may diverge in theory, performs much better numerically than many of its variants with theoretical convergence guarantee. Ideally, one should find a convergent version that performs at least as efficiently as the directly extended ADMM in practice. We achieve this goal by proposing a convergent (proximal) ADMM first for convex programming problems of three separate blocks in the objective function with the third part being linear and then extend it to the general case. Our extensive numerical tests on the important class of doubly non-negative semidefinite programming (SDP) problems with linear equality and/or inequality constraints demonstrate that our convergent method is at least 20% faster than the directly extended ADMM with unit step-length for the vast majority of about 550 large scale problems tested. This confirms that our ADMM type algorithm can have both theoretical convergence guarantee and superior numerical efficiency over the directly extended ADMM.

研究の動機と目的

• 4ブロック制約を伴う円錐プログラミングにおけるADMMの数値的効率性と理論的収束性のギャップを埋める。
• 直接拡張されたADMMの理論的発散を克服しつつ、その優れた数値的性能を維持する。
• 非収束型の直接拡張と比較して同等または優れた効率性を維持する収束性を保証するアルゴリズムを設計する。
• 一般の4ブロック問題に一般化可能な混合円錐制約を扱える、実証済みの3ブロックプロキシマル ADMM フレームワークを4ブロックに拡張する。
• 大規模な二重非負性半定値計画問題において、提案手法の実用的優位性を示す。

提案手法

• 第3ブロックが線形である3ブロック凸プログラミングのためのプロキシマル ADMM を提案し、プロキシマル正則化により収束を保証する。
• 混合線形、非多面体、多面体円錐制約を伴う円錐問題の双対を再定式化することで、3ブロック手法を4ブロックフレームワークに拡張する。
• 増加ラグランジュアンにプロキシマル項を導入し、反復を安定化させ、緩い条件下でも収束を保証する。
• 収束を保証しつつ計算効率を維持するため、1つのステップサイズ（単位ステップサイズ）を維持する。
• 円錐問題の双対に手法を適用し、結合された線形等式制約を持つ4ブロック構造最適化問題に変換する。
• 各ブロックに対してプロキシマル更新を伴う交互最小化を適用し、中程度の精度の解へのグローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非収束型の直接拡張ADMMと同等またはそれを上回る数値的効率性を有する4ブロック円錐プログラミングの収束性を保証するADMMを設計可能か？
• RQ2 プロキシマル正則化は、円錐最適化の多ブロックADMMにおける収束性と性能にどのように影響を与えるか？
• RQ3 大規模な二重非負性SDP問題において、提案手法は直接拡張ADMMを実用的にどの程度上回るか？
• RQ4 3ブロックプロキシマル ADMM フレームワークは、混合円錐制約を伴う4ブロック問題を効果的に拡張可能か？
• RQ5 収束速度とロバスト性の観点から、提案手法は既存のADMM変種に対してどの程度の経験的性能向上を達成するか？

主な発見

• 提案された収束性を保証するプロキシマル ADMM は、550件の大型二重非負性半定値計画問題において、単位ステップサイズを用いた直接拡張ADMM よりも少なくとも20%速い収束を達成した。
• 理論的不安定性を解消する一方で、高い数値的効率性を維持し、直接拡張ADMM の理論的欠陥を是正した。
• 広範な数値的実験により、アルゴリズムが多様な大規模円錐プログラミング問題に対してロバストかつスケーラブルであることが確認された。
• プロキシマル正則化は、計算速度を損なうことなくADMM反復を効果的に安定化させた。
• 性能向上は大多数のテスト問題で一貫しており、広範な実用的適用可能性を示している。
• 3ブロックプロキシマル ADMM が、混合制約を伴う4ブロック問題に効果的に拡張された。