[論文レビュー] Strong Evaluation Complexity Bounds for Arbitrary-Order Optimization of Nonconvex Nonsmooth Composite Functions

Coralia Cartis, Nicholas I. M. Gould+1 more|arXiv (Cornell University)|Jan 29, 2020

Sparse and Compressive Sensing Techniques参考文献 23被引用数 9

ひとこと要約

本稿では、非凸で非滑らかな合成最適化問題に対する強力な高次近似最小化子を導入し、それらを計算するための適応的正則化アルゴリズムを提案する。リプシッツ連続性の仮定の下で、非合成問題では$ olimits\mathcal{O}(\epsilon^{-q(p+1)/p})$、合成問題では$ olimits\mathcal{O}(\epsilon^{-(q+1)})$の最悪評価複雑度を達成し、合成設定において1より大きい最適性次数を有するものについて、初めて知られている複雑度の上限を与える。

ABSTRACT

We introduce the concept of strong high-order approximate minimizers for nonconvex optimization problems. These apply in both standard smooth and composite non-smooth settings, and additionally allow convex or inexpensive constraints. An adaptive regularization algorithm is then proposed to find such approximate minimizers. Under suitable Lipschitz continuity assumptions, whenever the feasible set is convex, it is shown that using a model of degree $p$, this algorithm will find a strong approximate q-th-order minimizer in at most ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(p+1)/(p-j+1)} ight)$ evaluations of the problem's functions and their derivatives, where $ε_j$ is the $j$-th order accuracy tolerance; this bound applies when either $q=1$ or the problem is not composite with $q \leq 2$. For general non-composite problems, even when the feasible set is nonconvex, the bound becomes ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-q(p+1)/p} ight)$ evaluations. If the problem is composite, and either $q > 1$ or the feasible set is not convex, the bound is then ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(q+1)} ight)$ evaluations. These results not only provide, to our knowledge, the first known bound for (unconstrained or inexpensively-constrained) composite problems for optimality orders exceeding one, but also give the first sharp bounds for high-order strong approximate $q$-th order minimizers of standard (unconstrained and inexpensively constrained) smooth problems, thereby complementing known results for weak minimizers.

研究の動機と目的

• 非凸で非滑らかな合成関数、特に安価な制約を含むものに対し、強力な高次近似最小化子を形式化すること。
• 既存の複雑度解析を、最適性次数が1より大きい合成問題へと拡張し、それまでに知られていなかった上限を提供すること。
• 高次最適化における弱い最適性定義と強い最適性定義のギャップを、適応的正則化アルゴリズムを用いて埋めること。
• 任意のモデル次数と最適性次数において、合成問題および非合成問題の両方について、最悪ケースの評価複雑度の鋭い上限を提供すること。

提案手法

• 任意の次数に一般化された一次および二次最適性条件を拡張する、強力な近似$q$次最小化子の概念を導入する。
• 次数$p$のモデルを用いて、強力最小化子への近似を段階的に改善する適応的正則化アルゴリズムを提案する。
• 導出の高次微分のリプシッツ連続性仮定を用いて、モデルの精度と収束性を制御する。
• ヘルメート補間を用いて、必要な導出値および関数値条件を満たす滑らかな補間多項式を構築する。
• 凸または非凸な実行可能集合を仮定した下で、各次数$j\leq q$について、所望の精度$\epsilon_j$に達するまでに必要な関数および導出値評価回数の上限を評価し、最悪ケースの評価複雑度を解析する。
• 問題構造に基づいて複雑度上限を区別する：非合成対比合成、凸対比非凸実行可能集合、およびモデル次数$p$。

実験結果

リサーチクエスチョン

• RQ1 非滑らかな合成最適化問題に、強力な高次近似最小化子を厳密に定義し、適用可能か？
• RQ2 適応的正則化アルゴリズムを用いて、このような強力最小化子を求める最悪ケースの評価複雑度はいかほどか？
• RQ3 最適性次数$q>1$の下で、合成問題と非合成問題の複雑度上限はどのように異なるか？
• RQ4 得られた上限は、高次最小化子の$\epsilon$依存性において鋭いか？
• RQ5 このフレームワークは、異なる問題タイプにおいて弱最小化子と強最小化子の両方の複雑度解析を統一できるか？

主な発見

• 凸実行可能集合を有する非合成問題では、評価複雑度は$\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-(p+1)/(p-j+1)}\right)$であり、従来の信頼領域境界よりも改善されている。
• 非凸実行可能集合を有する非合成問題では、境界は$\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-q(p+1)/p}\right)$であり、弱最小化子に対する既存の結果よりもタイトである。
• $q>1$または非凸実行可能集合を有する合成問題では、境界は$\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-(q+1)}\right)$であり、このような設定における初めて知られている複雑度の上限を示している。
• $q=1$および$q=2$の$\epsilon$依存性において、上限は鋭く、いくつかの特殊ケースでタイトであることが示されている。
• 本解析により、合成問題における強力な高次最小化子の複雑度結果が初めて確立され、非滑らかで非凸な最適化における重要なギャップが埋められた。
• 従来の弱最小化子に関する研究を補完し、現代の最適化応用における高次手法の理論的基盤を拡張した。