[論文レビュー] DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming

Ion Necoara, Andrei Pătraşcu|arXiv (Cornell University)|Apr 22, 2015

Advanced Optimization Algorithms Research参考文献 7被引用数 4

ひとこと要約

この論文では、複雑な制約を扱うために増強ラグランジュ緩和を用いる、凸二次計画問題（QP）の不正確な双対一次順序アルゴリズムのC言語実装であるDuQuadを紹介する。行列-ベクトル積にのみ依存することで、反復回数とメモリ使用量を低く抑え、不正確な勾配計算の効率的実装と動的Matlab統合によるテスト・分析により、特定の問題において最先端のソルバーよりも優れた性能を達成する。

ABSTRACT

In this paper we present the solver DuQuad specialized for solving general convex quadratic problems arising in many engineering applications. When it is difficult to project on the primal feasible set, we use the (augmented) Lagrangian relaxation to handle the complicated constraints and then, we apply dual first order algorithms based on inexact dual gradient information for solving the corresponding dual problem. The iteration complexity analysis is based on two types of approximate primal solutions: the primal last iterate and an average of primal iterates. We provide computational complexity estimates on the primal suboptimality and feasibility violation of the generated approximate primal solutions. Then, these algorithms are implemented in the programming language C in DuQuad, and optimized for low iteration complexity and low memory footprint. DuQuad has a dynamic Matlab interface which make the process of testing, comparing, and analyzing the algorithms simple. The algorithms are implemented using only basic arithmetic and logical operations and are suitable to run on low cost hardware. It is shown that if an approximate solution is sufficient for a given application, there exists problems where some of the implemented algorithms obtain the solution faster than state-of-the-art commercial solvers.

研究の動機と目的

• 低コストのハードウェアに適した軽量で効率的な凸二次計画問題（QP）ソルバの開発。
• 複雑なプライマル実行可能集合への射影の課題に、（増強）ラグランジュ緩和を用いて対処。
• 不正確な双対勾配情報を利用した双対一次順序法の実装により、計算上の近似があっても収束を保証。
• 基本演算と行列-ベクトル積にのみ依存することで、計算複雑性とメモリ容量を最小限に抑える。
• ベンチマークとアルゴリズム解析が容易な、動的Matlabインターフェースを備えた実用的でオープンソースのツールの提供。

提案手法

• 困難なプライマル制約を、単純な制約を持つ双対部分問題に変換するため、（増強）ラグランジュ緩和を適用。
• 一次順序双対アルゴリズムに不正確な双対勾配情報を用い、収束解析をプライマル最終反復と平均化されたプライマル反復に基づく。
• 基本演算と行列-ベクトル乗算にのみ依存するC言語による実装により、低メモリおよび低計算コストを実現。
• MEXファイルを介したMatlab統合により、アルゴリズムの動的テスト、比較、性能分析を可能に。
• スパース行列-ベクトル積の効率的処理を通じて、スパースQP問題への反復複雑性とスケーラビリティを最適化。
• gprofプロファイルを用いて、実行時間の大部分が行列-ベクトル積に占められることを確認し、アルゴリズムの設計の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 （増強）ラグランジュ緩和を用いた不正確な双対一次順序法は、凸QPに対して反復回数とメモリ使用量を低く抑えられるか？
• RQ2 小〜中規模の密行列QPに対して、不正確な双対勾配法はCplex や Gurobi といった商用ソルバーよりも優れた性能を示すか？
• RQ3 プライマル最終反復と反復の平均値のどちらを用いるかが、収束性と部分最適性に与える影響は何か？
• RQ4 スパース行列-ベクトル積にのみ依存する場合、スパースQP問題に対しても高速な収束と低メモリ使用を維持できるか？
• RQ5 動的Matlabインターフェースは、実際のアルゴリズムのテスト、比較、解析をどのように容易にするか？

主な発見

• DuQuadは競争力のある性能を達成しており、DFGMは等式制約と半正定値ヘッセ行列を有するQPにおいて、Cplex や Gurobi と同等の挙動を示す。
• DGMとDFGMの反復回数は、問題の次元が異なる場合でも比較的安定しており、問題サイズに弱い依存性を示す。
• プライマル最終反復を用いる場合、反復の平均値を用いる場合よりも反復回数の観点で双対一次順序法が優れている。
• プロファイリングにより、実行時間の大部分が行列-ベクトル積に占められていることが確認され、アルゴリズムの設計がこれらの演算に焦点を当てていることの妥当性が裏付けられた。
• 実装は基本演算と行列-ベクトル積にのみ依存しており、低コストのハードウェアや組み込みシステムに適している。
• 特定の問題において、近似解で十分な場合、DuQuadは最先端の商用ソルバーよりも速い解法を得られる。