[論文レビュー] High-order Evaluation Complexity of a Stochastic Adaptive Regularization Algorithm for Nonconvex Optimization Using Inexact Function Evaluations and Randomly Perturbed Derivatives

Stefania Bellavia, Gianmarco Gurioli+2 more|arXiv (Cornell University)|May 10, 2020

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、不正確な関数評価とノイズのある微分を扱える非凸最適化のための確率的適応正則化アルゴリズムを提案する。微分のリプシッツ連続性を仮定すると、高次近似最小化子を計算するための鋭い O(ε⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾) の複雑度バウンドを確立する。q=1（凸可能集合）および q=2（非制約）の場合にタイトな保証が得られ、その他の場合には O(ε⁻⁰⁽ᵖ⁺¹⁾⁄ᵖ）の複雑度バウンドが得られる。

ABSTRACT

A stochastic adaptive regularization algorithm allowing random noise in derivatives and inexact function values is proposed for computing strong approximate minimizers of any order for inexpensively constrained smooth optimization problems. For an objective function with Lipschitz continuous $p$-th derivative in a convex neighbourhood of the feasible set and given an arbitrary optimality order $q$, it is shown that this algorithm will, in expectation, compute such a point in at most $O\Bigl(\left(\min_{j\in\{1,\ldots,q\}}\epsilon_j ight)^{-\frac{p+1}{p-q+1}}\Bigr)$ inexact evaluations of $f$ and its derivatives whenever $q=1$ and the feasible set is convex, or $q=2$ and the problem is unconstrained, where $\epsilon_j$ is the tolerance for $j$th order accuracy. This bound becomes at most $O\Bigl(\left(\min_{j\in\{1,\ldots,q\}}\epsilon_j ight)^{-\frac{q(p+1)}{p}}\Bigr)$ inexact evaluations in the other cases if all derivatives are Lipschitz continuous. Moreover these bounds are sharp in the order of the accuracy tolerances.

研究の動機と目的

• 不正確な関数値とノイズのある微分という実用的条件下での、非凸最適化のためのロバストな確率的アルゴリズムの開発。
• 滑らかな最適化問題に対して、任意の次数 q の強い近似最小化子を、最小限の計算複雑度で計算すること。
• 望ましい精度許容誤差に達するための不正確な評価回数に関する理論的バウンドを確立すること。
• 制約付きおよび非制約付きの両設定における複雑度の分析、特に q=1 および q=2 の場合に注目すること。
• 各微分次数 j に対して、精度許容誤差 εj に関する依存性において、バウンドが鋭いかどうかを保証すること。

提案手法

• アルゴリズムは、確率的かつ不正確な関数評価と、確率的に摂動を加えた微分を用いた適応的正則化を採用する。
• モデルはノイズのある不正確な微分情報に基づいて更新される、信頼領域に類似したフレームワークを用いる。
• この手法は、可能集合の凸近傍において p 階微分のリプシッツ連続性に依存する。
• 重要な要素として、不正確な勾配およびヘッシアン推定に基づいて正則化パラメータを適応的に調整すること。
• 指定された条件下で、期待値として q 階近似最小化子への収束を保証する。
• 複雑度解析は、各微分次数 j に対して精度許容誤差 εj を満たすために必要な不正確な評価回数の上限をとることで実施する。

実験結果

リサーチクエスチョン

• RQ1 関数値と微分が不正確でノイズを含む状況下で、確率的適応正則化アルゴリズムの評価複雑度はどのようになるか？
• RQ2 複雑度は、望ましい最適性次数 q および各微分次数 j に対する精度許容誤差 εj にどのように依存するか？
• RQ3 不正確さとノイズの下で、非凸最適化における高次近似最小化子に対して鋭い複雑度バウンドを確立できるか？
• RQ4 制約付き（q=1）と非制約付き（q=2）の設定におけるバウンドはどのように異なるか？
• RQ5 導出された複雑度バウンドは、精度許容誤差 εj への依存性において鋭いか？

主な発見

• q=1 で可能集合が凸の場合、期待値として q 階近似最小化子を計算するにあたり、不正確な評価回数は O((minⱼ∈{1,…,q} εj)⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾) 以内に収まる。
• 非制約の場合に q=2 である場合、同じバウンドが成り立つ：期待値として O((minⱼ∈{1,…,q} εj)⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾) 回の評価が必要。
• その他のすべてのケースでは、すべての微分がリプシッツ連続であると仮定すると、複雑度バウンドは O((minⱼ∈{1,…,q} εj)⁻⁰⁽ᵖ⁺¹⁾⁄ᵖ⁾) にまで緩和される。
• 導出されたバウンドは、精度許容誤差 εj の次数において鋭く、εj へのより良い依存性はあり得ない。
• 目的関数の p 階微分が可能集合の凸近傍でリプシッツ連続であるという仮定のもとで、結果は成り立つ。
• この手法は微分の確率的摂動と不正確な評価に対してロバストであり、実用的な確率的最適化に適している。