[論文レビュー] On the R-superlinear convergence of the KKT residues generated by the augmented Lagrangian method for convex composite conic programming

Ying Cui, Defeng Sun+1 more|arXiv (Cornell University)|Jun 27, 2017

Optimization and Variational Analysis参考文献 36被引用数 7

ひとこと要約

本稿は、凸合成円錐計画法（CCCP）における増大ラグランジュ法（ALM）が生成するKKT残差のR-超線形収束を、双対問題における弱い2次的成長条件とRobinson制約規準の下で確立する。この結果は、一意解や強い誤差境界を仮定しないまま、現代のALMソルバ（SDPNAL や QSDPNAL など）の優れた性能を説明する長年の未解決問題を解決する。

ABSTRACT

Due to the possible lack of primal-dual-type error bounds, the superlinear convergence for the Karush-Kuhn-Tucker (KKT) residues of the sequence generated by augmented Lagrangian method (ALM) for solving convex composite conic programming (CCCP) has long been an outstanding open question. In this paper, we aim to resolve this issue by first conducting convergence rate analysis for the ALM with Rockafellar's stopping criteria under only a mild quadratic growth condition on the dual of CCCP. More importantly, by further assuming that the Robinson constraint qualification holds, we establish the R-superlinear convergence of the KKT residues of the iterative sequence under easy-to-implement stopping criteria {for} the augmented Lagrangian subproblems. Equipped with this discovery, we gain insightful interpretations on the impressive numerical performance of several recently developed semismooth Newton-CG based ALM solvers for solving linear and convex quadratic semidefinite programming.

研究の動機と目的

• 凸合成円錐計画法（CCCP）における増大ラグランジュ法（ALM）が、プライマル・デュアル誤差境界の欠如にもかかわらずR-超線形収束を達成するかどうかという長年の未解決問題を解消すること。
• 解の一意性を仮定しないで、双対問題における僅かな2次的成長条件の下でのALMの収束速度を確立すること。
• KKT残差のR-超線形収束を保証する実装可能なALM副問題の停止基準を提供すること。
• 線形および凸二次半定値計画問題に対する最近の半スムーズニュートン-CG法に基づくALMソルバの経験的高速収束を説明すること。

提案手法

• CCCPの双対問題における2次的成長条件の下で、Rockafellarの停止基準を用いたALMの収束速度解析を実施する。
• KKT残差のR-超線形収束をRobinson制約規準と実装可能な副問題の停止基準に結びつける、新しい枠組みを導入する。
• ALM副問題の解法に半スムーズニュートン-CG法を適用し、局所的高速収束を保証する。
• KKT系の自然写像定式化を用いて、半定値計画問題における最適性および収束挙動を特徴付ける。
• 罰則パrameter σk を用いた増大ラグランジュ関数を用い、交互最小化と射影によるプライマルおよびデュアル変数の更新を行う。
• 上位リプシッツ連続性を仮定しないで、R-超線形収束を保証する実装可能な基準（プライマルおよびデュアル）を導出する。

実験結果

リサーチクエスチョン

• RQ1 強力な誤差境界や一意解を仮定しない状況下でも、CCCPにおけるALMのKKT残差がR-超線形収束を達成できるか。
• RQ2 凸合成円錐計画問題におけるALMが、どのような条件下でKKT残差をR-超線形収束させるか。
• RQ3 ALM副問題の実装可能な停止基準は、KKT残差のR-超線形収束を保証できるか。
• RQ4 最近のALMソルバ（SDPNAL や QSDPNAL など）が線形および凸二次半定値計画問題でなぜこのような高速な数値的収束を示すのか。
• RQ5 KKT解写像が上位リプシッツ連続でない場合でも、KKT残差のR-超線形収束は保持されるか。

主な発見

• 双対問題における僅かな2次的成長条件とRobinson制約規準の下で、CCCPにおけるALMのKKT残差はR-超線形収束する。
• プライマルまたはデュアル解が一意でない場合でも収束結果は成立し、強い一意性仮定の必要性が排除される。
• ALM副問題の実装可能な停止基準が、KKT残差のR-超線形収束を保証するのに十分である。
• 重み付き最近縁相関行列問題に対する数値実験により、半対数プロットにおける残差と反復回数の関係からKKT残差のR-超線形収束が確認された。
• 理論的知見は、線形および凸二次半定値計画問題に対して、最新鋭のALMソルバ（SDPNAL, SDPNAL+, QSDPNAL など）の優れた数値的性能を説明する。
• 欠損データを含む問題（例えば、相関行列のランダムなエントリ欠損）に対しても、KKT残差のR-超線形収束が観察され、そのロバスト性が確認された。