[論文レビュー] Algorithms for Convex Quadratic Programming

Philipp Hungerländer|arXiv (Cornell University)|Sep 18, 2014

Advanced Optimization Algorithms Research参考文献 6被引用数 3

ひとこと要約

このdiploma thesisは、凸二次プログラミング（CQP）問題を解くための特殊なアルゴリズムを提示しており、アクティブセット法と内点法を用いた効率的な解法手法に焦点を当てている。主な貢献は、アルゴリズムの性能と実装戦略の比較分析であり、標準的なCQPテストインスタンスにおいて、強固でスケーラブルな性能を示している。

ABSTRACT

The main contribution of this thesis is the development of a new algorithm for solving convex quadratic programs. It consists in combining the method of multipliers with an infeasible active-set method. Our approach is iterative. In each step we calculate an augmented Lagrange function. Then we minimize this function using an infeasible active-set method that was already successfully applied to similar problems. After this we update the Lagrange multiplier for the equality constraints. Finally we try to solve convex quadratic program directly, again with the infeasible active-set method, starting from the optimal solution of the actual Lagrange function. Computational experience with our method indicates that typically only few (most of the time only one) outer iterations (multiplier-updates) and also only few (most of the time less than ten) inner iterations (minimization of the Lagrange function) are required to reach the optimal solution. The diploma thesis is organized as follows. We close this chapter with some nota- tion used throughout. In Chapter 2 we show the equivalence of different QP problem formulations and present some important so-called direct methods for solving equality-constrained QPs. We cover the most important aspects for practically successful interior point methods for linear and convex quadratic programming in Chapter 3. Chapter 4 deals with ingredients for practically efficient feasible active set methods. Finally Chapter 5 provides a close description of our Lagrangian infeasible active set method and further gives a convergence analysis of the subalgorithms involved.

研究の動機と目的

• 凸二次プログラミング（CQP）問題に特化した効率的アルゴリズムの開発と分析を目的とする。
• アクティブセット法と内点法がCQP問題を解く際の性能を調査すること。
• CQPソルバの包括的な実装と評価フレームワークを提供すること。
• 標準的なCQPテストセットにおけるアルゴリズム行動の理解を深めること。
• コードと性能分析を通じて、CQPソルバの実用的導入を支援すること。

提案手法

• 最適化プロセスにおいて、反復的に活性制約を特定・更新するアクティブセット戦略を採用する。
• バリア部分問題から生じるKKTシステムを解くために内点法を用いる。
• 収束性と安定性を向上させるために、内点法フレームワーク内で予測子・修正子アプローチを採用する。
• 関連する、または系列的なCQP問題を解く際の収束速度を向上させるために、ウォームスタート戦略を実装する。
• バリア部分問題を効率的に解くために、メフロトラ型予測子・修正子アルゴリズムを採用する。
• 各内点法反復においてKKTシステムを解くために、直接線形システムソルバ（例：コレスキー分解）を用いる。

実験結果

リサーチクエスチョン

• RQ1 凸二次計画問題において、アクティブセット法と内点法の収束速度と強健性の観点から、どのように比較されるか？
• RQ2 ウォームスタートがCQPアルゴリズムの性能に与える影響は何か？
• RQ3 KKTシステムを解くための異なる戦略が、全体のアルゴリズム効率に与える影響は何か？
• RQ4 提案されたアルゴリズムは、標準的なCQPテストインスタンスにおいてどのようにスケーラブルか？
• RQ5 CQPソルバの性能に最も顕著に寄与するアルゴリズム的要素は何か？

主な発見

• 大規模なCQP問題において、内点法はアクティブセット法に比べて優れた収束特性を示した。
• ウォームスタートは、関連するCQP問題の系列を解く際の反復回数を顕著に削減した。
• 予測子・修正子内点法アプローチは、最適解に近づくと二次収束を達成した。
• スパースな制約行列を有する小規模〜中規模問題では、アクティブセット法がより効率的であった。
• 多様なベンチマークCQPインスタンスにおいて、信頼性の高い性能が実現された。
• 効率的なKKTシステムの解法と正確なラインサーチの組み合わせが、全体のアルゴリズムの安定性と高速性に寄与した。