[論文レビュー] Adaptive Regularization for Nonconvex Optimization Using Inexact Function Values and Randomly Perturbed Derivatives

Stefania Bellavia, Gianmarco Gurioli+2 more|arXiv (Cornell University)|May 10, 2020

Sparse and Compressive Sensing Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、不正確な関数値と確率的摂動を受ける導関数を扱える非凸最適化のための適応的正則化アルゴリズムを提案する。期待値における評価複雑度の最適境界を達成する。アルゴリズムが $q$ 階の近似臨界点を $O(\epsilon^{-(p+1)/(p-q+1)})$ 回の評価で計算できることを証明し、$q \leq 2$ の場合、$q > 2$ の場合は $O(\epsilon^{-q(p+1)/p})$ となる。これらの境界は、精度許容誤差のオーダーにおいて鋭いものである。

ABSTRACT

A regularization algorithm allowing random noise in derivatives and inexact function values is proposed for computing approximate local critical points of any order for smooth unconstrained optimization problems. For an objective function with Lipschitz continuous $p$-th derivative and given an arbitrary optimality order $q \leq p$, it is shown that this algorithm will, in expectation, compute such a point in at most $O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j ight)^{-\frac{p+1}{p-q+1}} ight)$ inexact evaluations of $f$ and its derivatives whenever $q\in\{1,2\}$, where $ε_j$ is the tolerance for $j$th order accuracy. This bound becomes at most $O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j ight)^{-\frac{q(p+1)}{p}} ight)$ inexact evaluations if $q>2$ and all derivatives are Lipschitz continuous. Moreover these bounds are sharp in the order of the accuracy tolerances. An extension to convexly constrained problems is also outlined.

研究の動機と目的

• 滑らかな非凸最適化問題において、関数値と導関数の評価が不正確な状況下でも、任意の階数の近似局所臨界点を計算できる正則化アルゴリズムの開発。
• 関数値と導関数が確率的ノイズと不正確性を受ける状況における、そのようなアルゴリズムの評価複雑度の分析。
• ノイズと導関数の精度に関する弱い仮定の下で、正確な評価の場合に知られている境界と一致する、期待値におけるタイトな最悪ケース複雑度境界の確立。
• 制約付き凸最適化問題へのフレームワークの拡張を図り、複雑度の保証を維持すること。

提案手法

• アルゴリズムは、不正確な関数値と導関数情報に基づいてモデルの精度を適応的に調整する信頼領域に類似した枠組みを用いる適応的正則化を採用する。
• 確率的導関数近似に基づく確率的停止基準を定義し、有界なノイズのもとで妥当性と収束性を保証する。
• 不正確さを考慮した新しいモデル改善関数 $\phi_{f,j}^{\delta_j}(x)$ の定義を採用し、モデルの最悪ケース減少を制限する。
• 線分探索または信頼領域ステップ選択戦略を用い、ノイズのある導関数に対しても妥当性を保ちつつ、モデルの十分な減少を保証する。
• 理論的分析では、不正確な適応的正則化（IAR）フレームワークの修正版を用い、$p$ 階導関数のリプシッツ連続性と関数値・導関数のノイズの有界性に関する仮定を置く。
• 凸制約付き問題のため、各反復点で妥当性を強制し、反復点の制約付き性質を反映するように停止基準を修正する。

実験結果

リサーチクエスチョン

• RQ1 関数値と導関数が不正確で確率的ノイズを受ける状況下で、適応的正則化アルゴリズムの評価複雑度はいかほどか？
• RQ2 ノイズのある導関数と関数評価が存在するにもかかわらず、期待値において正確なアルゴリズムと同等の複雑度境界を達成できるか？
• RQ3 複雑度は、求められる臨界点の階数 $q$ と目的関数の滑らかさ $p$ にどのように依存するか？
• RQ4 不正確なデータを伴う凸制約付き最適化問題に、理論的複雑度境界を拡張できるか？
• RQ5 導出された複雑度境界は、精度許容誤差 $\epsilon$ のオーダーにおいて鋭いか？

主な発見

• $q \in \{1,2\}$ の場合、期待値において最大 $O(\epsilon^{-(p+1)/(p-q+1)})$ 回の不正確な評価で、$(\epsilon,\delta)$-近似 $q$ 階最小化子が得られ、正確な評価の既知の複雑度と一致する。
• $q > 2$ の場合、期待される評価回数は $O(\epsilon^{-q(p+1)/p})$ で抑えられ、$\epsilon$ のオーダーにおいても鋭いものである。
• 複雑度境界は、正確な導関数と関数評価の最良境界と一致するという意味で最適であり、確率的摂動が存在しても成り立つ。
• 解析により、導関数近似の正確性の確率が十分に高い限り、アルゴリズムが正確な場合と同程度の複雑度オーダーを維持することが示された。
• 凸制約付き問題への拡張においても、停止基準と妥当性強制の修正を加えることで、同じ複雑度境界が保たれる。
• 結果は弱い仮定のもとで成り立つ：$p$ 階導関数のリプシッツ連続性と、関数値および導関数評価における独立で有界なノイズ。