[論文レビュー] Worst-case iteration bounds for log barrier methods on problems with nonconvex constraints

Oliver Hinder, Yinyu Ye|arXiv (Cornell University)|Jul 1, 2018

Advanced Optimization Algorithms Research参考文献 44被引用数 5

ひとこと要約

本稿では、非凸制約を伴う非線形最適化問題に対する新しい内点法（IPM）を提案する。この手法は、対数バリア部分問題を解くために信頼領域アプローチを用いる。μ-近似Fritz John点を求めるために、非凸IPMにおける最初の多項式的反復回数の上限O(μ⁻⁷/⁴)を確立し、非凸IPMの複雑さの保証を著しく改善するとともに、標準的な制約規準のもとでKKT点へのグローバル収束を可能にする。

ABSTRACT

Interior point methods (IPMs) that handle nonconvex constraints such as IPOPT, KNITRO and LOQO have had enormous practical success. We consider IPMs in the setting where the objective and constraints are thrice differentiable, and have Lipschitz first and second derivatives on the feasible region. We provide an IPM that, starting from a strictly feasible point, finds a $μ$-approximate Fritz John point by solving $\mathcal{O}( μ^{-7/4})$ trust-region subproblems. For IPMs that handle nonlinear constraints, this result represents the first iteration bound with a polynomial dependence on $1/μ$. We also show how to use our method to find scaled-KKT points starting from an infeasible solution and improve on existing complexity bounds.

研究の動機と目的

• 非凸制約を伴う問題における内点法（IPM）の最悪ケース反復複雑度のギャップを埋めること。特に、1/μに多項式的依存性を有さない既存の手法の欠如を補う。
• 滑らかさおよびリプシッツ微分可能性の仮定のもとで、μ-近似Fritz John点を確実に見つけるグローバル収束性を有するIPMの開発。
• 不実行点からの開始を扱えるようにこの手法を拡張し、スケーリングKKT点を求める際の複雑度上限を改善すること。
• IPOPT、KNITRO、LOQOといった実用的IPMの理論的基盤を提供すること。これらは実務では成功しているが、最悪ケースの保証が欠けている。

提案手法

• 不等式制約を扱うために対数バリア関数ψμ(x) = f(x) − μ∑log(ai(x)) を用い、μを中央パスのパラメータとする。
• 各反復で、十分な減少を保証しグローバル収束を達成するため、ラグランジュのヘッセ行列の2次情報を利用した信頼領域部分問題を解く。
• 厳密な実行性を維持し、バックトラッキング則を用いたラインサーチにより最適性への進行を保証する。
• 厳密に実行可能な点から初期化され、2段階戦略が採用される：第1段階で不実行性を低減し、第2段階で最適性を向上させる。
• 正確な算術のもとで、信頼領域部分問題はO(n³)の演算で正確に解ける。これにより理論的複雑度解析が可能になる。
• 対数バリア関数およびそのヘッセ行列の構造を活用し、勾配およびヘッセ行列のリプシッツ連続性を用いて複雑度上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸問題におけるIPMに対して、1/μに多項式的依存性を有する最悪ケース反復回数上限を確立できるか？
• RQ2 対数バリア部分問題に対して信頼領域アプローチを用いることで、近似KKT点やFritz John点を求める既存手法よりも優れた複雑度を得られるか？
• RQ3 μ → 0 となるとき、Mangasarian-Fromovitz制約規準が極限点で成り立つならば、この手法はKKT点に収束するか？
• RQ4 不実行点から開始できるようにこの手法を適応可能にできるか？ その際、望ましい複雑度上限を維持できるか？
• RQ5 部分問題の部分最適性パラメータにおいて、不実行性と最適性の間の最適なトレードオフは何か？

主な発見

• 本手法は、O(μ⁻⁷/⁴)の信頼領域部分問題を解くことで、非凸IPMにおける最初の多項式的反復回数上限を達成し、μ-近似Fritz John点を求める。
• μ → 0 となるとき、任意の収束する近似解の列は、極限点でMangasarian-Fromovitz制約規準が成り立つ限り、KKT点に収束する。
• 特に不実行反復から開始する場合に、スケーリングKKT点を求める既存の複雑度上限を改善する。
• ε-最適かつε-不実行な解を求める複雑度上限として、O(ε_opt⁻² ε_inf⁻³/₂)を達成し、既存手法を上回る。
• 信頼領域部分問題は正確にO(n³)の算術演算で解けるため、厳密な複雑度解析が可能である。
• 本手法は初期値に強く、不実行点から開始してもグローバル収束性を維持する。