[論文レビュー] On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions

Ying Cui, Defeng Sun+1 more|arXiv (Cornell University)|Oct 4, 2016

Advanced Optimization Algorithms Research参考文献 36被引用数 22

ひとこと要約

本稿は、凸半定値計画（SDP）における増大ラグランジュ法（ALM）の漸近的非線形収束を確立する。これは、主問題が複数の解をもつ場合や非有界である場合でも成り立つ。弱い2次成長条件のもとで、主反復列はQ-非線形収束し、双対不実行性および双対目的関数値はR-非線形収束する。これは、SDPNAL や SDPNAL+、QSDPNAL といったソルバの高い効率を説明する。

ABSTRACT

Solving large scale convex semidefinite programming (SDP) problems has long been a challenging task numerically. Fortunately, several powerful solvers including SDPNAL, SDPNAL+ and QSDPNAL have recently been developed to solve linear and convex quadratic SDP problems to high accuracy successfully. These solvers are based on the augmented Lagrangian method (ALM) applied to the dual problems with the subproblems being solved by semismooth Newton-CG methods. Noticeably, thanks to Rockafellar's general theory on the proximal point algorithms, the primal iteration sequence generated by the ALM enjoys an asymptotic Q-superlinear convergence rate under a second order sufficient condition {for the primal problem}. This second order sufficient condition implies that the primal problem has a unique solution, which can be restrictive in many applications. For gaining more insightful interpretations on the high efficiency of these solvers, in this paper we conduct an asymptotic superlinear convergence analysis of the ALM for convex SDP when the primal problem has multiple solutions (can be unbounded). Under a fairly mild second order growth condition, we prove that the primal iteration sequence generated by the ALM converges asymptotically Q-superlinearly, while the dual feasibility and the dual objective function value converge asymptotically R-superlinearly. Moreover, by studying the metric subregularity of the Karush-Kuhn-Tucker solution mapping, we also provide sufficient conditions to guarantee the asymptotic R-superlinear convergence of the dual iterate.

研究の動機と目的

• 実際のSDPソルバ（SDPNAL, SDPNAL+, QSDPNAL）の高い効率を説明すること、特に主解が一意でない場合に焦点を当てる。
• 古典的な一意最適解の仮定を超えて、増大ラグランジュ法の理論的収束解析を拡張すること。
• 厳密な2次十分条件の代わりに弱い2次成長条件を用いることで、主および双対反復列の両方の非線形収束速度を確立すること。
• KKT解写像の距離的正則性を特徴づけ、双対反復列のR-非線形収束を保証すること。
• 正確な解を必要とせず、収束速度を保つ内側の部分問題に対する実装可能な停止基準を提供すること。

提案手法

• 双対問題にRockafellarの近接点理論を適用し、増大ラグランジュフレームワークを用いて主および双対反復列を生成する。
• 標準的な2次十分条件の代わりに、2次成長条件を導入し、複数解が存在する場合の収束解析を可能にする。
• 半滑らかニュートン-共役勾配法を用いてALM内の双対部分問題を近似的に解き、新たな実装可能な基準により誤差を制御する。
• KKT写像の距離的正則性を分析することで収束速度を確立し、双対反復列の非線形収束と関連付ける。
• 主反復と双対不実行性を含む誤差評価を用いて、内側反復の実装可能な停止基準を導出する。これにより、正確な部分問題解を必要とせず収束を保証できる。
• 古典的な主解の一意性仮定を、解集合近傍における最適値関数の成長に関する弱い条件に置き換える。

実験結果

リサーチクエスチョン

• RQ1 主問題が複数の解をもつ場合、凸SDPにおける増大ラグランジュ法が非線形収束を達成できるか？
• RQ2 主解が一意でない場合、SDPNAL などのALMベースSDPソルバで非線形収束が妨げられるか？
• RQ3 2次十分条件より弱いどのような条件でも、SDPにおけるALMの非線形収束を保証できるか？
• RQ4 KKT写像の距離的正則性をどのように特徴づけ、双対反復列のR-非線形収束を保証できるか？
• RQ5 外側ALM反復の漸近的非線形収束を保つ内側部分問題の実装可能な停止基準を導出できるか？

主な発見

• 2次成長条件のもとで、主反復列は解が一意でない場合でもQ-非線形収束する。
• 双対不実行性および双対目的関数値はR-非線形収束する。これは、実用的ソルバで観察される高速収束を説明する。
• KKT写像が距離的正則であれば、双対反復列はR-非線形収束する。これは2次成長条件のもとで成立する。
• 内側部分問題のための新たな実装可能な停止基準を提案し、正確な解を必要とせず外側ALMが非線形収束を保つことを保証する。
• 一意な主解が存在しない場合や非有界問題に対しても収束結果は安定であり、拡張可能である。
• 理論的枠組みは、大規模な線形および凸二次SDPを解くSDPNAL, SDPNAL+, QSDPNALの高い数値的性能を説明する。