[論文レビュー] Improved second-order evaluation complexity for unconstrained nonlinear optimization using high-order regularized models

Coralia Cartis, Nicholas I. M. Gould+1 more|arXiv (Cornell University)|Aug 14, 2017

Advanced Optimization Algorithms Research参考文献 14被引用数 18

ひとこと要約

本稿では、非線形最適化における2次臨界点を効率的に探索するための、高次のテイラー展開（$ p \geq 2 $）を用いた適応的正則化アルゴリズムを提案する。$ p $-階微分のリプシッツ連続性と下界の有界性の下で、従来の結果を上回る、$ O\left(\max\left(\epsilon_1^{-(p+1)/p}, \epsilon_2^{-(p+1)/(p-1)}\right)\right) $ の関数および勾配評価回数の複雑さを達成する。これは、1次および2次最適性の両方において、より優れた複雑さの境界を実現する。

ABSTRACT

The unconstrained minimization of a sufficiently smooth objective function $f(x)$ is considered, for which derivatives up to order $p$, $p\geq 2$, are assumed to be available. An adaptive regularization algorithm is proposed that uses Taylor models of the objective of order $p$ and that is guaranteed to find a first- and second-order critical point in at most $O \left(\max\left( ε_1^{-\frac{p+1}{p}}, ε_2^{-\frac{p+1}{p-1}} ight) ight)$ function and derivatives evaluations, where $ε_1$ and $ε_2 >0$ are prescribed first- and second-order optimality tolerances. Our approach extends the method in Birgin et al. (2016) to finding second-order critical points, and establishes the novel complexity bound for second-order criticality under identical problem assumptions as for first-order, namely, that the $p$-th derivative tensor is Lipschitz continuous and that $f(x)$ is bounded from below. The evaluation-complexity bound for second-order criticality improves on all such known existing results.

研究の動機と目的

• 非線形最適化における2次臨界点を求めるための評価複雑さを低減すること。
• 従来、1次最適性の複雑さを改善した高次正則化手法を、2次最適性に拡張すること。
• 同じ仮定（$ p $-階微分のリプシッツ連続性および下界の有界性）の下で、既知の結果を上回る複雑さの境界を確立すること。
• 局所的かつ近似的なモデル最小化条件の下で、モデルの精度、正則化、収束の相互作用を分析すること。
• 高次モデル（$ p > 2 $）が、3次または2次手法よりも優れた漸近的複雑さを達成することを示すこと。

提案手法

• 目的関数 $ f(x) $ の $ p $-次テイラー展開モデル $ T_p(x,s) $ を用い、$ p \geq 2 $ で切断する。
• 十分な減少と安定性を保証するため、正則化項 $ \sigma_k \|s\|^{p+1} $ を用いた適応的正則化を適用する。
• 予測減少と実際の減少の一致度に基づき、正則化パラメータ $ \sigma_k $ を動的に調整する適応的アルゴリズムを実装する。
• 局所的かつ不正確なモデル最小化を実施し、条件 (2.19) および (2.20) を満たすことで、1次および2次臨界性への進捗を保証する。
• 両方の条件 $ \|\nabla f(x_k)\| \leq \epsilon_1 $ および $ \lambda_{\text{left}}(\nabla^2 f(x_k)) \geq -\epsilon_2 $ を満たした段階で終了する。
• 再帰的テンソルノルムと $ p $-階微分のリプシッツ連続性に依拠し、収束性および複雑さの境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 2次臨界点を求めるための評価複雑さは、既知の $ O(\max(\epsilon_1^{-3/2}, \epsilon_2^{-3})) $ の境界を超えて改善可能か？
• RQ2 正則化付きの高次テイラー展開モデル（$ p \geq 3 $）を用いることで、既存の3次または2次手法よりもタイトな複雑さの境界が得られるか？
• RQ3 1次複雑さの解析で用いられた仮定（$ C^{p,1} $、下界の有界性）を用いて、2次複雑さを改善できるか？
• RQ4 複雑さは $ p $ の増加に伴いどのように変化するか？また、$ p \to \infty $ のとき、$ O(\max(\epsilon_1^{-1}, \epsilon_2^{-1})) $ に近づくか？
• RQ5 近似的なモデル最小化が、全体の複雑さおよび収束保証に与える影響は何か？

主な発見

• 提案されたアルゴリズムは、2次臨界点を求めるための評価複雑さとして、$ O\left(\max\left(\epsilon_1^{-(p+1)/p}, \epsilon_2^{-(p+1)/(p-1)}\right)\right) $ を達成する。
• 特に $ p = 3 $ の場合、複雑さは $ O\left(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2})\right) $ に改善され、3次正則化の既知の $ O(\epsilon_2^{-3}) $ の境界を上回る。
• $ p = 2 $ の場合、境界は標準的な $ O(\max(\epsilon_1^{-3/2}, \epsilon_2^{-3})) $ に還元され、既知の結果と一致する。
• 複雑さの境界は $ p \to \infty $ に伴い漸近的に改善され、$ O(\max(\epsilon_1^{-1}, \epsilon_2^{-1})) $ に近づく。これは、中程度の $ p $ を超えると利得が小さくなることを示唆する。
• 解析により、$ f \in C^{p,1} $、下界の有界性、$ p $-階微分のリプシッツ連続性という同一の仮定が、改善された境界を達成するのに十分であることが示された。これは1次最適性の場合と一致する。
• モデル部分問題の近似解しか得られない場合でも、アルゴリズムはグローバル収束性および複雑さの保証を維持する。