[論文レビュー] Convergence Rate Analysis of a Stochastic Trust Region Method for Nonconvex Optimization

José Blanchet, Coralia Cartis+2 more|arXiv (Cornell University)|Sep 23, 2016

Stochastic Gradient Optimization Techniques被引用数 22

ひとこと要約

本稿では、ノイズのある勾配および目的関数評価を許容し、動的に精度を調整する確率的信頼領域法を提案する。弱い誤差仮定の下で、∥∇f(x)∥ ≤ ε を達成するための期待反復回数複雑性が O(ε⁻²) であることを確立し、信頼領域法を実用的な機械学習応用に向けた確率的設定へと拡張する。

ABSTRACT

We introduce a variant of a traditional trust region method which is aimed at stochastic optimization. While traditional trust region method relies on exact computations of the gradient and values of the objective function, our method assumes that these values are available up to some dynamically adjusted accuracy. Moreover, this accuracy is assumed to hold only with some sufficiently large, but fixed, probability, without any additional restrictions on the variance of the errors. We show that our assumptions apply to the standard stochastic setting assumed in the machine learning problems, but also include more general settings. We then proceed to provide a bound on the expected number of iterations the stochastic algorithm requires to reach accuracy $\| abla f(x)\|\leq \epsilon$, for any $\epsilon>0$. The resulting bound is $O(\epsilon^{-2})$, under the assumption of sufficiently accurate stochastic gradient.

研究の動機と目的

• 正確な値を必要とせず、ノイズのある勾配および目的関数評価の下で動作する信頼領域法の開発。
• 非凸最適化設定におけるこのような確率的信頼領域法の収束速度の分析。
• 誤差分布に関する最小限の仮定の下での反復回数の複雑性の境界を確立、特に分散が有界であることや高確率での精度を含む。
• 勾配がミニバッチで推定されるような標準的な機械学習設定への適用可能性の検証。
• 所望の勾配ノルムのしきい値 ∥∇f(x)∥ ≤ ε に到達するまでに必要な反復回数の期待値に関する理論的保証の提供。

提案手法

• 反復に応じて精度を動的に調整する確率的信頼領域アルゴリズムを導入。勾配および目的関数値は不正確に使用され、その精度は反復の進行に応じて変化する。
• 目的関数の二次モデルを用いた部分問題に基づくステップサイズを制御する信頼領域フレームワークに依存する。
• 勾配および関数評価が高確率で正確である（ゼロから離れており、有界ではない）と仮定する。分散が有界である必要はない。
• 誤差が固定された、十分に高い確率で有界である確率的オракルモデルを用いる。
• ステップの品質に基づいて適応するラインサーチまたは信頼領域更新戦略を採用する。
• 精度確率を用いて期待改善量をバウンドすることで、各反復における期待進捗に基づく収束解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 勾配および目的関数値がノイズを含んで推定される場合、信頼領域法の期待反復回数複雑性はどのようになるか？
• RQ2 確率的推定の精度が非凸最適化における収束にどのように影響するか？
• RQ3 高確率的だが分散が有界でないノイズを伴う設定へ、信頼領域フレームワークを拡張可能か？
• RQ4 どのような条件下で、確率的信頼領域法が所望の勾配ノルムしきい値 ∥∇f(x)∥ ≤ ε を達成するか？
• RQ5 現実的な確率的仮定のもとで、決定的信頼領域法と同等の収束保証を維持できるか？

主な発見

• 提案された確率的信頼領域法は、十分に正確な確率的勾配が利用可能な条件下で、∥∇f(x)∥ ≤ ε を達成するための期待反復回数複雑性が O(ε⁻²) であることを達成する。
• 誤差の分散が有界であると仮定しなくても、高確率での精度が保証されていれば、収束レートの境界は成り立つ。
• ミニバッチによる勾配推定が行われる標準的な機械学習設定に適用可能であり、実用的関連性を裏付ける。
• 解析により、確率的推定の誤差分布に最小限の仮定しか必要としないことが示された。
• O(ε⁻²) の複雑性は、確率的非凸最適化分野で知られている最良のレートと一致しており、他の最先端手法と同等の性能を示す。
• 誤差の精度確率が固定され、十分に高い場合に限り、誤差の分散が有界である必要がないという結果が得られた。