[論文レビュー] A Convergent 3-Block Semi-Proximal Alternating Direction Method of Multipliers for Conic Programming with $4$-Type of Constraints

Defeng Sun, Kim-Chuan Toh+1 more|arXiv (Cornell University)|Apr 22, 2014

Sparse and Compressive Sensing Techniques参考文献 31被引用数 49

ひとこと要約

本稿では、4種類の制約タイプ（線形等式、不等式、非多面体錐、多面体錐）を有する円錐計画法に対して、収束性を保証する3ブロック半プロキシマルADMM（sPADMM3c）を提案する。1→3→2→3ブロック座標降下サイクルを用いることで、収束性を確保するとともに、直接拡張されたADMMの非収束性を克服し、実用的効率性を凌駕する。550件の大型二重非負性SDP問題において、少なくとも20%の高速化を達成し、理論的収束性と実用的効率性のトレードオフを解消する。

ABSTRACT

The objective of this paper is to design an efficient and convergent alternating direction method of multipliers (ADMM) for finding a solution of medium accuracy to conic programming problems whose constraints consist of linear equalities, linear inequalities, a non-polyhedral cone and a polyhedral cone. For this class of problems, one may apply the directly extended ADMM to their dual, which can be written in the form of convex programming with four separable blocks in the objective function and a coupling linear equation constraint. Indeed, the directly extended ADMM, though may diverge in theory, often performs much better numerically than many of its variants with theoretical convergence guarantee. Ideally, one should find a convergent variant which is at least as efficient as the directly extended ADMM in practice. We achieve this goal by designing a convergent semi-proximal ADMM (called sPADMM3c for convenience) for convex programming problems having three separable blocks in the objective function with the third part being linear. At each iteration, the proposed sPADMM3c takes one special block coordinate descent (BCD) cycle with the order $1 ightarrow 3 ightarrow 2 ightarrow 3$, instead of the usual $1 ightarrow 2 ightarrow 3$ Gauss-Seidel BCD cycle used in the non-convergent directly extended $3$-block ADMM, for updating the variable blocks. Our extensive numerical tests on the important class of doubly non-negative semidefinite programming (SDP) problems with linear equality and/or inequality constraints demonstrate that our convergent method is at least $20%$ faster than the directly extended ADMM with unit step-length for the vast majority of about $550$ large scale problems tested.

研究の動機と目的

• 線形等式、不等式、非多面体錐、多面体錐の4種類の制約タイプを有する円錐計画法に対する収束性を保証するADMMの変種を設計すること。
• 特に3ブロック問題において、実用的効率性と理論的収束性のギャップを是正すること。
• 収束性を保証しつつも、高い数値的効率性を維持する手法の開発。直接拡張されたADMMの発散問題を克服すること。
• 中程度の精度解を求めるための信頼性が高く、高速かつ収束性を保証する1次元法を、特に二重非負性SDP問題に適用可能にする。
• 大規模円錐計画法において、高速な局所最適化ソルバーのウォームスタートとして本手法を活用可能にする。

提案手法

• 本手法は、円錐計画法の双対問題に半プロキシマルADMMフレームワークを適用し、結合線形等式制約を有する4ブロック分離凸最適化問題に再定式化する。
• 収束性を保証しつつ効率性を維持するため、標準的な1→2→3ガウス＝ザイデルサイクルではなく、新規なブロック更新順序（1→3→2→3）を採用する。
• 反復の安定化と収束性の保証のため、プロキシマル項を組み込み、射影演算におけるモラウの定理を活用する。
• 増強ラグランジュアンにおいて、非多面体錐（例：正定値行列）と多面体錐（例：非負成分）は、メトリック射影と指示関数を用いて処理する。
• 問題のノルムでスケーリングされた相対残差を用いて、実行可能性、最適性、双対ギャップに基づく適応的停止基準を導入する。
• 二重非負性SDP問題に対しては、非負性制約と正定値制約を分離するために追加の行列変数を導入し、4ブロック形式に再定式化する。

実験結果

リサーチクエスチョン

• RQ1 4種類の制約タイプを有する円錐計画法に対して、非収束性を示す直接拡張ADMMの数値的効率性を保ちつつ、収束性を保証する3ブロックADMMを設計可能か？
• RQ2 非標準的なブロック更新順序（1→3→2→3）は、収束性を確保するとともに、実用的性能を維持または向上させるか？
• RQ3 このような手法は、大規模円錐計画問題において、標準的なユニットステップ長の直接拡張ADMMよりも速度と信頼性の面で優れているか？
• RQ4 提案手法は、大規模円錐計画法における高速な局所最適化手法のウォームスタートとして適しているか？
• RQ5 ADMMフレームワークに半プロキシマル項を用いることで、計算効率を損なわずに収束性が保証されるか？

主な発見

• 提案手法sPADMM3cは、550件の大型二重非負性SDP問題において、ユニットステップ長の直接拡張ADMMよりも少なくとも20%高速な性能を達成した。
• sPadmm 4dおよびsPadmm 4d(1)（最適ステップ長τ=1.618を用いる）ですら、sPADMM3cに劣る。
• パフォーマンスプロファイルでは、多数のテスト問題においてsPadmm 4d（τ=1.618）よりもsPADMM3cが反復回数が少ないことが示された。
• 追加の行列変数に起因するわずかなオーバーヘッドがあるものの、優れた収束特性のおかげで、全体としてsPADMM3cが高速である。
• すべてのテスト問題において、相対ギャップおよび実行可能性残差が10−5未満に保たれ、収束性の高さが確認された。
• 結果から、注意深く設計されたブロック座標降下サイクルは、多ブロックADMMにおいて理論的収束性と優れた数値的効率性の両立を可能にすることが確認された。