[論文レビュー] Optimality of orders one to three and beyond: characterization and evaluation complexity in constrained nonconvex optimization

Coralia Cartis, Nicholas I. M. Gould+1 more|arXiv (Cornell University)|May 20, 2017

Advanced Optimization Algorithms Research被引用数 3

ひとこと要約

本稿では、一般不等式制約および等式制約を伴う制約付き非凸最適化における近似1次、2次、3次臨界点を求める2段階アルゴリズムを提案し、内部ソルバの選択に応じた評価複雑度を分析する。一般不等式および等式制約を伴う問題における2次および3次臨界性のための最初の複雑度バウンドを確立するとともに、高次最適性を達成するためのペナルティ法の根本的な限界を強調する。

ABSTRACT

Necessary conditions for high-order optimality in smooth nonlinear constrained optimization are explored and their inherent intricacy discussed. A two-phase minimization algorithm is proposed which can achieve approximate first-, second- and third-order criticality and its evaluation complexity is analyzed as a function of the choice (among existing methods) of an inner algorithm for solving subproblems in each of the two phases. The relation between high-order criticality and penalization techniques is finally considered, showing that standard algorithmic approaches will fail if approximate constrained high-order critical points are sought.

研究の動機と目的

• 一般不等式および等式制約を伴う制約付き非凸最適化における2次および3次臨界点の評価複雑度分析のギャップを埋めること。
• 近似1次、2次、3次臨界性を達成する2段階アルゴリズムの最悪ケース評価複雑度を分析すること。
• 3次以上の高次最適性を達成する際の本質的困難、特にペナルティ技法との関連において検討すること。
• 先行研究[21]における1次臨界性条件におけるラグランジュ乗数の符号に関する誤りを是正すること。
• 標準的なペナルティに基づくアプローチが、近似制約付き高次臨界点を求める際に失敗することを示すこと。

提案手法

• 2段階アルゴリズムを提案：段階1では、近似1次臨界性を達成するためにメリット関数を最小化し、段階2では解を精緻化して2次および3次臨界性を達成する。
• 目的関数および制約関数の高次テイラー近似（最大3次まで）を用いた信頼領域に類似したグローバライゼーション戦略を採用する。
• スケーリングされたKKT条件フレームワークを採用し、プライマルおよび双対不実行性はそれぞれ精度しきい値 $\epsilon_{\text{P}}$ および $\epsilon_{\text{D}}$ で測定する。
• 不等式制約を最適性条件に組み込むために、臨界性測度 $\phi_{\mu,j}^{\Delta_k}$ を導入し、制約違反に対してロバストであることを保証する。
• 各段階における内部アルゴリズムの選択に応じた評価複雑度を分析し、特に部分問題の解法コストに注目する。
• Łojasiewicz不等式を適用して、特定の条件下では不実行点での早期終了が起こりにくいことを示し、より強い収束性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 一般不等式および等式制約を伴う制約付き非凸最適化において、$\epsilon$-近似2次および3次臨界点を求める最悪ケース評価複雑度は何か？
• RQ2 2段階法における内部アルゴリズムの選択が、全体の評価複雑度にどのように影響するか？
• RQ3 なぜ標準的なペナルティベースの手法は、等式制約付き問題における高次臨界点を求める際に失敗するのか？
• RQ4 制約付き非凸最適化において、3次を超える高次最適性を達成する際の本質的困難は何か？
• RQ5 臨界性測度に $\|c(x)\|^2$ の代わりに $\|c(x)\|$ の勾配を使用することで、1次臨界性の複雑度バウンドを強化できるか？

主な発見

• 本稿では、一般不等式および等式制約を伴う制約付き非凸最適化における2次および3次臨界点のための最初の評価複雑度バウンドを確立した。
• 2段階アルゴリズムは、1次臨界性に対して $O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2})$ の評価複雑度を達成し、高次に拡張する際には追加の複雑度要因を伴う。
• 分析により、[21]における誤りが是正され、1次臨界性条件におけるラグランジュ乗数の符号が最小化の観点に整合するよう保証された。
• Łojasiewicz不等式により、標準的な仮定のもとでは $\|c(x)\|$ の勾配が小さい不実行点での終了は起こりにくく、より強い収束性を示唆する。
• 一部の先行手法とは異なり、2次微分における不連続性を避けるために、$p$ 回連続微分可能関数を用いることで、滑らかさを確保した。
• ペナルティベースの手法が、等式制約付き問題における高次臨界点の探索に根本的に不適切であることが示された。これは、アルゴリズム的限界に起因する。