[論文レビュー] QSDPNAL: A two-phase augmented Lagrangian method for convex quadratic semidefinite programming

Xudong Li, Defeng Sun+1 more|arXiv (Cornell University)|Dec 30, 2015

Advanced Optimization Algorithms Research参考文献 30被引用数 21

ひとこと要約

本稿では、大規模な凸二次半定値プログラミング（QSDP）問題を対象とした二段階の増大ラグランジュ法であるQSDPNALを提案する。第1段階では、不正確なシュール補完分解を用いた一次順序法を用い、中程度の精度を得るか、良好な初期点を生成する。第2段階では、増大ラグランジュ枠組み内に不正確な半スムーズニュートン法を適用し、KKT残差のR-超線形収束を達成し、大規模問題において高い効率性とロバスト性を示す。

ABSTRACT

In this paper, we present a two-phase augmented Lagrangian method, called QSDPNAL, for solving convex quadratic semidefinite programming (QSDP) problems with constraints consisting of a large number of linear equality, inequality constraints, a simple convex polyhedral set constraint, and a positive semidefinite cone constraint. A first order algorithm which relies on the inexact Schur complement based decomposition technique is developed in QSDPNAL-Phase I with the aim of solving a QSDP problem to moderate accuracy or using it to generate a reasonably good initial point for the second phase. In QSDPNAL-Phase II, we design an augmented Lagrangian method (ALM) where the inner subproblem in each iteration is solved via inexact semismooth Newton based algorithms. Simple and implementable stopping criteria are designed for the ALM. Moreover, under mild conditions, we are able to establish the rate of convergence of the proposed algorithm and prove the R-(super)linear convergence of the KKT residual. In the implementation of QSDPNAL, we also develop efficient techniques for solving large scale linear systems of equations under certain subspace constraints. More specifically, simpler and yet better conditioned linear systems are carefully designed to replace the original linear systems and novel shadow sequences are constructed to alleviate the numerical difficulties brought about by the crucial subspace constraints. Extensive numerical results for various large scale QSDPs show that our two-phase algorithm is highly efficient and robust in obtaining accurate solutions.

研究の動機と目的

• 高次元制約を伴う大規模な凸二次半定値プログラミング（QSDP）問題に対して、効率的なソルバの不足に対処する。
• 悪条件性と1反復あたりの高コストに起因する数値的・計算的制限を抱える既存の内点法の課題を克服する。
• 演算子Qの明示的格納が不可能な大規模なQSDP問題を処理できるスケーラブルでロバストなアルゴリズムの開発。
• 効率性と正確性のバランスを図るために、一次順序法と二次順序法を統合した二段階フレームワークの設計。
• ややきつい条件下でもKKT残差の全域収束および局所的R-超線形収束を確立し、実装可能な停止基準を設定する。

提案手法

• 二段階の増大ラグランジュ法を提案：QSDPNAL-Phase Iでは、不正確なシュール補完分解に基づく一次順序アルゴリズムを用い、双対問題を中程度の精度まで解く。
• QSDPNAL-Phase IIでは、内側の部分問題を不正確な半スムーズニュートン法により解く増大ラグランジュ法を適用し、二次順序情報を利用することで高速な局所収束を達成する。
• 部分空間制約下での元の線形系を置き換えることで、より良好な条件数を持つ新たな線形系を設計し、数値的安定性を向上させる。
• 部分空間制約に起因する線形系における数値的困難を軽減するため、新たなシャドウ列を構築する。
• 部分空間制約下での大規模線形系に対して、演算子Qの明示的格納を回避する効率的な反復解法を実装する。
• 増大ラグランジュスキームのための単純で実装可能な停止基準を統合し、実用的な収束モニタリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 悪条件性のため標準的な内点法が失敗する大規模な凸QSDP問題に対して、二段階の増大ラグランジュ法が効果的に解けるか。
• RQ2 一次順序法と二次順序法を1つのフレームワークに統合することで、全域収束と高速な局所収束を両立できるか。
• RQ3 演算子Qの完全な形を明示的に形成せずに、部分空間制約下の大規模線形系を効率的に解くための数値的手法は開発可能か。
• RQ4 増大ラグランジュ法に対して、収束を保証しつつ計算コストが過剰にならない実装可能な停止基準を設計できるか。
• RQ5 提案されたアルゴリズムにおけるKKT残差の収束速度は何か。また、どのような条件下で超線形収束を達成できるか。

主な発見

• QSDPNALはややきつい条件下でもKKT残差のR-超線形収束を達成し、第2段階で高速な局所収束を示す。
• アルゴリズムは非常に効率的かつロバストであり、2003変数、50,000を超える制約を伴う大規模なQSDP問題を17時間未満で解ける。
• 適切に設定された問題では、QSDPNAL-Phase Iのみで十分であり、大規模インスタンスでも30分未満で中程度の精度に到達する。
• 悪条件性や困難な問題に対しては、Phase IIがPhase Iを著しく上回り、高精度解のための解法時間は最大16.5時間に達する。
• より賢く、良好な条件数を持つ線形系とシャドウ列の使用により、数値誤差が低減され、ソルバの安定性が向上する。
• 数値実験の結果、QSDPNALはセンサネットワーク局所化問題やSDP緩和問題を含むベンチマーク問題において、常に実行可能差と最適性ギャップが1e-6未満に保たれる。