[論文レビュー] Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming

Deren Han, Defeng Sun+1 more|arXiv (Cornell University)|Aug 10, 2015

Sparse and Compressive Sensing Techniques参考文献 45被引用数 25

ひとこと要約

本稿は、強い凸性や厳密補完性を仮定しない条件下で、誤差バインディング条件のもとで、凸合成二次および半正定値計画問題に対する半プロキシマル ADMM がグローバル線形収束率を有することを確立する。主な貢献は、2次十分最適性および厳密ロビンソン制約規準を用いた、孤立的安定性の完全な特徴付けであり、2ブロックおよび多ブロック問題における線形収束を可能にする。

ABSTRACT

In this paper, we aim to provide a comprehensive analysis on the linear rate convergence of the alternating direction method of multipliers (ADMM) for solving linearly constrained convex composite optimization problems. Under a certain error bound condition, we establish the global linear rate of convergence for a more general semi-proximal ADMM with the dual steplength being restricted to be in the open interval $(0, (1+\sqrt{5})/2)$. In our analysis, we assume neither the strong convexity nor the strict complementarity except an error bound condition, which holds automatically for convex composite quadratic programming. This semi-proximal ADMM, which includes the classic ADMM, not only has the advantage to resolve the potentially non-solvability issue of the subproblems in the classic ADMM but also possesses the abilities of handling multi-block convex optimization problems efficiently. We shall use convex composite quadratic programming and quadratic semi-definite programming as important applications to demonstrate the significance of the obtained results. Of its own novelty in second-order variational analysis, a complete characterization is provided on the isolated calmness for the nonlinear convex semi-definite optimization problem in terms of its second order sufficient optimality condition and the strict Robinson constraint qualification for the purpose of proving the linear rate convergence of the semi-proximal ADMM when applied to two- and multi-block convex quadratic semi-definite programming.

研究の動機と目的

• 線形制約を伴う凸合成最適化問題に対する半プロキシマル ADMM のグローバル線形収束率を確立すること。
• 先行研究で一般的に用いられる強い凸性や厳密補完性を仮定せずに収束性を分析すること。
• 凸半正定値最適化問題における2次変分解析における孤立的安定性の完全な特徴付けを提供すること。
• 凸合成二次および半正定値計画問題における結果の適用可能性と重要性を示すこと。
• 非多面体錐最適化問題への線形収束解析の拡張の基盤を築くこと。

提案手法

• 双対ステップ長を (0, (1+√5)/2) の範囲で許容する半プロキシマル ADMM (sPADMM) フレームワークに基づく分析。
• 部分問題の可解性と安定性を保証するため、プロキシマル項を含む増大ラグランジュ関数を採用する。
• 強凸性に代わる主要な技術的道具として、誤差バインディング条件を用い、線形収束解析を可能にする。
• 2次十分最適性条件および厳密ロビンソン制約規準を用いて、KKT写像の孤立的安定性を特徴付ける。
• 2次最適性、厳密制約規準、および逆KKT写像の孤立的安定性の間の同値性を厳密に証明する。
• 2ブロックおよび多ブロックの凸二次半正定値計画問題にこの解析を適用し、実用的意義を示す。

実験結果

リサーチクエスチョン

• RQ1 半プロキシマル ADMM が凸合成二次および半正定値計画問題に対してグローバル線形収束を達成できる条件は何か？
• RQ2 強い凸性や厳密補完性を仮定せず、線形収束を確立できるか？
• RQ3 誤差バインディング条件が sPADMM の線形収束を保証するために果たす正確な役割は何か？
• RQ4 2次十分最適性と厳密ロビンソン制約規準は、KKT写像の孤立的安定性とどのように関係するか？
• RQ5 線形収束解析を正定値錐を超えた非多面体錐最適化問題へ拡張できるか？

主な発見

• sPADMM は、誤差バインディング条件のもとで、強い凸性や厳密補完性がなくてもグローバル線形収束を達成する。
• 誤差バインディング条件は、凸合成二次計画問題において自動的に成立し、この場合の線形収束を保証する。
• KKT写像の孤立的安定性は、2次十分最適性および厳密ロビンソン制約規準の両方の満たし方と同値である。
• 2次最適性、制約規準、および孤立的安定性の間の同値性は、凸半正定値最適化における線形収束の完全な特徴付けを提供する。
• この解析は2ブロックおよび多ブロックの凸二次半正定値計画問題に適用可能であり、広範な適用可能性を示す。
• 結果は、不正確な sPADMM や他の非多面体錐問題への線形収束解析への拡張の基盤を築く。