[論文レビュー] Complexity Analysis of a Stochastic Cubic Regularisation Method under Inexact Gradient Evaluations and Dynamic Hessian Accuracy.

Stefania Bellavia, Gianmarco Gurioli|arXiv (Cornell University)|Jan 29, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、非凸最適化のための確率的立方体正則化法を提案する。この手法は、適応的かつ不正確なヘシアンと勾配の近似を組み合わせる。決定的複雑度解析を確率的設定に拡張し、期待される反復回数がO(ε^(-3/2))で第一階微小点に収束することを証明した。これは、不正確さと有界な誤差分散のもとで知られている最悪ケース最適複雑度と一致する。

ABSTRACT

We here adapt an extended version of the adaptive cubic regularisation method with dynamic inexact Hessian information for nonconvex optimisation in [2] to the stochastic optimisation setting. While exact function evaluations are still considered, this novel variant inherits the innovative use of adaptive accuracy requirements for Hessian approximations introduced in [2] and additionally employs inexact computations of the gradient. Without restrictions on the variance of the errors, we assume that these approximations are available within a sufficiently large, but fixed, probability and we extend, in the spirit of [13], the deterministic analysis of the framework to its stochastic counterpart, showing that the expected number of iterations to reach a first-order stationary point matches the well known worst-case optimal complexity. This is, in fact, still given by O(epsilon^(-3/2)), with respect to the first-order epsilon tolerance.

研究の動機と目的

• 適応的立方体正則化フレームワークに動的ヘシアン精度を組み合わせ、確率的最適化設定に拡張すること。
• 誤差分散に制限を設けずに、非凸最適化における不正確な勾配評価の課題に対処すること。
• 不正確さと確率的近似保証のもとで、最悪ケース反復複雑度を最適に維持すること。
• [2]の決定的複雑度解析を、不正確な勾配とヘシアン近似を含む確率的設定に一般化すること。
• 期待される反復回数が第一階微小点に達するまで、既知の最適複雑度境界と一致することを確立すること。

提案手法

• 不正確な勾配評価を組み込むことで、[2]の適応的立方体正則化法を確率的最適化に適応する。
• ヘシアン近似の精度要件を動的に設定し、最適性への進行に応じて精度を調整する。
• 勾配近似が固定確率で利用可能であり、分散制限なしに提供されると仮定する。
• [13]の決定的複雑度フレームワークを確率的ケースに拡張し、理論的保証を維持する。
• 近似誤差の確率的境界を用いて、不正確さのもとでの収束を保証する。
• 立方体正則化を用いた信頼領域型メカニズムを採用し、ステップサイズを制御し、目的関数の十分な減少を保証する。

実験結果

リサーチクエスチョン

• RQ1 動的ヘシアン精度を有する適応的立方体正則化法を、不正確な勾配を伴う確率的設定に拡張できるか？
• RQ2 不正確な勾配およびヘシアン近似のもとで、提案手法の期待される反復複雑度は何か？
• RQ3 不正確さが存在するにもかかわらず、O(ε^(-3/2))の最適複雑度境界が期待的に保持されるか？
• RQ4 近似品質に関する確率的保証が収束性と複雑度に与える影響は何か？
• RQ5 不正確な勾配を伴う確率的設定に、決定的複雑度解析を厳密に拡張できるか？

主な発見

• 提案された確率的立方体正則化法は、第一階微小点に到達するための期待反復回数がO(ε^(-3/2))であることを達成した。
• 不正確な勾配およびヘシアン評価が存在する場合でも、非凸最適化におけるよく知られた最悪ケース最適複雑度と一致する。
• ヘシアン近似のための適応的精度要件を維持しており、最適性への進行に応じて動的に調整される。
• 勾配近似誤差の分散に制限はなく、近似の可用性が固定確率で十分に高いと仮定するのみである。
• 本フレームワークは、[2]および[13]の決定的複雑度解析を、不正確さを含む確率的設定に成功して一般化した。
• 期待される反復回数は第一階許容誤差εに関して最適にスケーリングされ、不正確さのもとでのロバストネスを確認した。