[論文レビュー] Evaluation complexity bounds for smooth constrained nonlinear optimisation using scaled KKT conditions, high-order models and the criticality measure $χ$
本稿は、滑らかな非線形制約付き最適化問題を解くために高次モデルとスケーリングされた Karush-Kuhn-Tucker (KKT) 条件を用いる際の、より良い最悪ケース評価複雑度の上限を確立する。以前の研究よりも弱い仮定の下で、$ O(\rho^{-1/p} \rho_{\text{D}}^{-(p+1)/p}) $ の関数および導関数評価で、$ \epsilon $-近似スケーリング付き一次の臨界点を達成可能であることが示され、凸および非凸の場合の先行結果を一般化する。
Evaluation complexity for convexly constrained optimization is considered and it is shown first that the complexity bound of $O(ε^{-3/2})$ proved by Cartis, Gould and Toint (IMAJNA 32(4) 2012, pp.1662-1695) for computing an $ε$-approximate first-order critical point can be obtained under significantly weaker assumptions. Moreover, the result is generalized to the case where high-order derivatives are used, resulting in a bound of $O(ε^{-(p+1)/p})$ evaluations whenever derivatives of order $p$ are available. It is also shown that the bound of $O(ε_P^{-1/2}ε_D^{-3/2})$ evaluations ($ε_P$ and $ε_D$ being primal and dual accuracy thresholds) suggested by Cartis, Gould and Toint (SINUM, 2015) for the general nonconvex case involving both equality and inequality constraints can be generalized to a bound of $O(ε_P^{-1/p}ε_D^{-(p+1)/p})$ evaluations under similarly weakened assumptions. This paper is variant of a companion report (NTR-11-2015, University of Namur, Belgium) which uses a different first-order criticality measure to obtain the same complexity bounds.
研究の動機と目的
- 従来の研究よりも弱い仮定の下で、制約付き非線形最適化のよりタイトな最悪ケース評価複雑度の上限を確立すること。
- 一次の臨界点に対する複雑度上限 $ O(\epsilon^{-3/2}) $ を高次導関数 $ p $ に一般化し、$ O(\epsilon^{-(p+1)/p}) $ の評価数を得ること。
- 非凸問題に対する複雑度上限 $ O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2}) $ を、スケーリングKKT条件を用いて高次導関数に一般化し、$ O(\epsilon_{\text{P}}^{-1/p}\epsilon_{\text{D}}^{-(p+1)/p}) $ に拡張すること。
- 高次モデルと臨界性測度を組み込むことで、不正確復元法および信頼領域法の理論的基盤を強化すること。
- 臨界性測度 $ \chi $ の使用が、評価複雑度の上限を保ちつつ、より強い収束保証を可能にすることを示すこと。
提案手法
- 本稿は、ラグランジュ関数の勾配と制約違反のノルムに基づく臨界性測度 $ \chi $ を導入し、ラグランジュ乗数の大きさでスケーリングする。
- 目的関数および制約関数に対して $ p $ 次のテイラー近似モデルを採用し、$ p $ 回連続微分可能で $ p $ 階微分がリプシッツ連続である関数を仮定する。
- 分析には、プライマルおよびデュアルの不実行性がラグランジュ乗数および制約違反の大きさに対して相対的に測定されるスケーリングKKT条件を用いる。
- 二段階のアルゴリズムを検討する：段階1では不実行性 $ \|c(x)\| $ を最小化し、段階2では高次モデルを用いてメリット関数を最小化する。
- 評価複雑度は、$ \epsilon_{\text{P}} $-プライマルおよび $ \epsilon_{\text{D}} $-デュアルの精度に達するまでに必要な目的関数および制約関数／導関数の評価回数を数えることで上限を求める。
- 臨界性測度 $ \chi $ は、スケーリング不変で退化に強い終了基準を定義するために用いられる。
実験結果
リサーチクエスチョン
- RQ1従来の要件よりも弱い仮定の下で、$ \epsilon $-近似一次臨界点を求めるための評価複雑度上限 $ O(\epsilon^{-3/2}) $ を達成できるか。
- RQ2高次モデルの次数 $ p $ を用いる場合の最悪ケース評価複雑度は何か。また、$ \epsilon $ に対してどのようにスケーリングされるか。
- RQ3非凸問題に対する複雑度上限 $ O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2}) $ を高次導関数およびスケーリングKKT条件に一般化できるか。
- RQ4臨界性測度 $ \chi $ の使用が最適化アルゴリズムのロバスト性および終了基準をどのように向上させるか。
- RQ5Łojasiewiczの不等式が失敗する条件は何か。また、これはアルゴリズムの早期終了とどのように関係するか。
主な発見
- 凸型制約付き問題において、$ p $ 階微分を用いる場合、$ \epsilon $-近似一次臨界点を求める評価複雑度は、従来の結果よりも弱い仮定の下で $ O(\epsilon^{-(p+1)/p}) $ である。
- 等式および不等式制約を含む一般の非線形制約付き問題において、評価複雑度は $ O(\epsilon_{\text{P}}^{-1/p}\epsilon_{\text{D}}^{-(p+1)/p}) $ で上限づけられ、以前の $ O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2}) $ よりも改善されている。
- 複雑度上限は、反復点の一様有界性の仮定がなく、部分問題の解法に対する条件も緩和された、より厳密に弱い仮定の下で導出されている。
- ラグランジュ関数の勾配と制約違反のノルムに基づく臨界性測度 $ \chi $ は、ロバストでスケーリング不変な終了基準を可能にする。
- Łojasiewiczの不等式が成立する場合、不実行点での終了はほとんど起こらないことが示され、これは滑らかな関数では一般的であるため、実際にはそのような点は早期終了とは見なされない。
- 結果は退化に対してロバストであり、Birgin らのアルゴリズムフレームワークで観察される終了行動と整合的であり、より強い理論的保証を提供する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。