[論文レビュー] An Efficient Polynomial Interior-Point Algorithm for Linear Programming

Yaguang Yang|arXiv (Cornell University)|Apr 12, 2013

Advanced Optimization Algorithms Research参考文献 15被引用数 3

ひとこと要約

この論文は、線形計画法のための新しい内点法アルゴリズムを提案する。各反復で、中心化パラメータとラインサーチステップサイズを同時に最適化することで、双対ギャップを最小化する。これらの選択をヒューリスティックではなく体系的に行うことで、既存で最も良い多項式時間複雑度の上限を達成し、Netlibのテスト問題において、補正ステップを必要としないにもかかわらず、広く使われているMehrotraの予測・修正法を上回る反復回数で優れた計算効率を示す。

ABSTRACT

For interior-point algorithms in linear programming, it is well-known that the selection of the centering parameter is crucial for proving polynomility in theory and for efficiency in practice. However, the selection of the centering parameter is usually by heuristics and separate from the selection of the line-search step size. The heuristics are quite different while developing practically efficient algorithms, such as MPC, and theoretically efficient algorithms, such as short-step path-following algorithm. This introduces a dilemma that some algorithms with the best-known polynomial bound are least efficient in practice, and some most efficient algorithms may not be polynomial. In this paper, we propose a systematic way to optimally select the centering parameter and line-search step size at the same time, and we show that the algorithm based on this strategy has the best-known polynomial bound and may be very efficient in computation for real problems.

研究の動機と目的

• 理論的・実用的ギャップを解消すること。すなわち、強い多項式時間境界を持つが非効率なアルゴリズムと、多項式時間の複雑度の証明が欠落しているが効率的なアルゴリズムの間のギャップを埋める。
• 中心化パラメータとラインサーチステップサイズの選択をヒューリスティックに分離することを排除し、理論的保証と実用的効率の両方を損なわないようにすること。
• 各反復における双対ギャップの削減を最小化することを目的とした、中心化パラメータとステップサイズを同時に最適化する体系的で最適化に基づく戦略を開発すること。
• 統一された選択戦略が、最高の既知の多項式時間複雑度の上限と実際の計算効率の両方を達成できることを示すこと。

提案手法

• アルゴリズムは、各反復で双対ギャップを最小化する目的関数を用いて、中心化パラメータαとラインサーチステップサイズσの同時選択を最適化問題として定式化する。
• KKTシステムのスパースQR分解を用いて、探索方向の閉形式の式を導出することで、プライマルおよびデュアルの予測ステップを正確かつ効率的に計算可能にする。
• プライマル・デュアルの予測・修正フレームワークを採用しているが、修正ステップを省略し、最適なαとσの選択により、双対ギャップの高速な削減を実現する。
• 問題に厳密な内部点が存在するようにするために、初期点を x = s = e として満たすための前処理ステップを実施する。
• 各反復で部分問題を解くために、optimalAlphaSigma という関数を用いたMATLABによる実装が行われる。
• KKTシステムの構造を活用して、直交射影を用いて探索方向を計算することで、数値的安定性と精度を確保し、特に最適解に近い領域でも有効である。

実験結果

リサーチクエスチョン

• RQ1 中心化パラメータとラインサーチステップサイズを体系的かつ同時に最適化することで、内点法における理論的複雑度と実用的効率の両方を向上させることができるか？
• RQ2 中心化とラインサーチの選択をヒューリスティックに分離しないことで、収束が速くなり、反復回数が減少するか？
• RQ3 修正ステップを含まないアルゴリズムでも、中心化パラメータとステップサイズを最適に選べば、依然として高い効率を達成できるか？
• RQ4 提案手法は、最高の既知の多項式時間複雑度の上限を達成するとともに、実世界の性能においても競争力を持つことができるか？

主な発見

• 提案手法は、線形計画法において、ε-最適解を得るための理論的反復回数が O(√n log(1/ε)) である、最高の既知の多項式時間複雑度の上限を達成する。
• Netlibのテスト問題において、MATLABの linprog（Mehrotraの予測・修正法を採用）よりも一貫して反復回数が少なく、AFIROでは4反復（linprogは7反復）、SCAGR25では5反復（linprogは16反復）を記録する。
• テストされたすべての問題において、linprogを上回るが、SCTAP1を除き、両者とも17反復を要する。修正ステップを用いていないにもかかわらず、同程度の性能を達成する。
• 最適なαとσの選択により、修正ステップの追加コストなしに、反復ごとの双対ギャップの削減が著しく速くなることが示された。
• 数値的実験の結果、理論的焦点を有しながらも、実用的に非常に効率的であることが確認され、最先端の実装と同等またはそれ以上の反復回数を示した。