[論文レビュー] A one-phase interior point method for nonconvex optimization

Oliver Hinder, Yinyu Ye|arXiv (Cornell University)|Jan 9, 2018

Advanced Optimization Algorithms Research参考文献 33被引用数 10

ひとこと要約

本稿では、罰則法や二段階法を避けるために、スラック変数の慎重な初期化と更新により、局所最適性、不可行性、非有界性の一次証明へのグローバル収束を保証する、非凸最適化のためのワンフェーズ内点法を提案する。この手法は、バリアパラメータと同一速度でプライマル妥当性と補完性を維持し、CUTEst問題において16%のIPOPTと比較して9%の失敗率を示し、高いロバスト性を示す。

ABSTRACT

The work of Wachter and Biegler suggests that infeasible-start interior point methods (IPMs) developed for linear programming cannot be adapted to nonlinear optimization without significant modification, i.e., using a two-phase or penalty method. We propose an IPM that, by careful initialization and updates of the slack variables, is guaranteed to find a first-order certificate of local infeasibility, local optimality or unboundedness of the (shifted) feasible region. Our proposed algorithm differs from other IPM methods for nonconvex programming because we reduce primal feasibility at the same rate as the barrier parameter. This gives an algorithm with more robust convergence properties and closely resembles successful algorithms from linear programming. We implement the algorithm and compare with IPOPT on a subset of CUTEst problems. Our algorithm requires a similar median number of iterations, but fails on only 9% of the problems compared with 16% for IPOPT. Experiments on infeasible variants of the CUTEst problems indicate superior performance for detecting infeasibility. The code for our implementation can be found at https://github.com/ohinder/OnePhase .

研究の動機と目的

• WächterとBiegler（2000）が指摘したように、非凸問題において不可行スタート内点法（IPM）が信頼性なく不可行性を検出できないことや最適性に収束できない問題を解決すること。
• ペナルティ法やIPOPTの妥当性回復フェーズのような二段階アルゴリズムの複雑さや数値的問題を回避する、単一フェーズIPMの開発。
• 一般条件下で、局所最適性、不可行性、非有界性の一次証明へのグローバル収束を保証すること。
• バリアパラメータと同一速度でプライマル妥当性と補完性を維持し、成功した線形計画法IPMを模倣すること。
• 非凸テスト問題における不可行性の検出能力と失敗率の低減を向上させること。

提案手法

• アルゴリズムは、$ a(x^0) + s^0 = w\mu^0 $ を満たすようにスラック変数を初期化し、シフトされたバリア問題の初期段階で妥当性を保証する。
• 反復の全過程で $ a(x) + s = w\mu $ の恒等式を維持し、シフトされたバリアに対するプライマル妥当性を保証する。
• 勾配ノルム、補完性、双対変数の挙動に基づき、積極的ステップと安定化ステップの切り替え条件（20）を用いる。
• KKT誤差が小さく、補完性が良好に条件付けられている場合には積極的ステップを実行するが、そうでない場合は $ \delta = \delta_{\min} $ を用いた安定化ステップを用いる。
• バリアパラメータ $ \mu $ を時間とともに減少させ、スラック変数を $ s^T y \approx \mu $ を満たすように更新する。
• 終了基準は、KKT誤差（$ \Gamma_{\text{far}} $）、不可行性（$ \Gamma_{\text{inf}} $）、非有界性（$ \|x\|_\infty^{-1} \geq \epsilon_{\text{unbd}} $）に基づく。

実験結果

リサーチクエスチョン

• RQ1 罰則法や二段階スキームを回避しつつ、非凸最適化のためのワンフェーズ内点法を設計可能か？
• RQ2 スラック変数の初期化と更新は、最適性、不可行性、非有界性の証明へのロバストな収束をどのように保証できるか？
• RQ3 バリアパラメータと同一速度でプライマル妥当性と補完性を維持することで、非凸設定における収束のロバスト性が向上するか？
• RQ4 このような手法は、IPOPTなどの既存ソルバーに比べ、失敗率と不可行性検出能力で優れるか？
• RQ5 アルゴリズムが局所最適性、不可行性、非有界性の一次証明で終了することを保証する条件は何か？

主な発見

• 提案手法はCUTEst問題において9%の失敗率を示し、IPOPTの16%と比較して優れたロバスト性を示した。
• CUTEst問題の不可行バージョンにおいても、不可行性を効果的に検出でき、IPOPTを上回った。
• 反復回数の中央値はIPOPTと同等であり、改善されたロバスト性にもかかわらず、収束速度に大きな差がないことを示した。
• 一般条件下で、局所最適性、不可行性、非有界性の一次証明への収束が保証された。
• ペナルティパラメータや妥当性回復フェーズの必要がなく、実装を簡素化し、数値的問題を低減した。
• $ \Gamma_{\text{far}} $、$ \Gamma_{\text{inf}} $、$ \epsilon_{\text{unbd}} $ に基づく終了基準は、最適性、不可行性、非有界性の検出に効果的に機能した。