[論文レビュー] Stochastic Cubic Regularization for Fast Nonconvex Optimization

Nilesh Tripuraneni, Mitchell Stern+3 more|arXiv (Cornell University)|Nov 8, 2017

Stochastic Gradient Optimization Techniques参考文献 22被引用数 46

ひとこと要約

この論文は、確率的勾配とヘッセ・ベクトル積を活用して、非凸最適化において鞍点を効率的に回避し、近似局所最小値に収束する確率的立方則正則化法を提案する。勾配とヘッセ・ベクトル積のオракル評価回数の複雑さは $ ilde{ olimits}( olimits^{-3.5})$ であり、分散低減や加速技術を必要とせず、確率的勾配降下法の $ ilde{ olimits}( olimits^{-4})$ のレートを改善する。

ABSTRACT

This paper proposes a stochastic variant of a classic algorithm---the cubic-regularized Newton method [Nesterov and Polyak 2006]. The proposed algorithm efficiently escapes saddle points and finds approximate local minima for general smooth, nonconvex functions in only $\mathcal{ ilde{O}}(ε^{-3.5})$ stochastic gradient and stochastic Hessian-vector product evaluations. The latter can be computed as efficiently as stochastic gradients. This improves upon the $\mathcal{ ilde{O}}(ε^{-4})$ rate of stochastic gradient descent. Our rate matches the best-known result for finding local minima without requiring any delicate acceleration or variance-reduction techniques.

研究の動機と目的

• 非凸最適化において鞍点を効率的に回避する、立方則正則化ニュートン法の確率的バージョンを開発すること。
• $ olimits$-近似局所最小値を求めるために必要な確率的オラクル評価回数を減らすこと。
• 分散低減や加速技術に依存せずに、非凸設定において確率的勾配降下法よりも速い収束を達成すること。
• ノイズのある勾配とヘッセ・ベクトル積を用いた完全に確率的なアルゴリズムの非漸近的複雑さ解析を提供すること。
• 大規模な設定における決定的立方則正則化と確率的非凸最適化の間のギャップを埋めること。

提案手法

• この手法は、立方則正則化付きの局所的3次テイラー展開を最小化する立方則正則化ニュートン法の確率的バージョンである。
• 計算的に効率が良く、ディープラーニングのような設定で容易に計算可能な、確率的勾配と確率的ヘッセ・ベクトル積を用いる。
• 2段階の手続きを採用する：勾配ノルムが大きいときはカウチステップを、勾配が小さいときは立方則サブモデル上の勾配降下法を用いる。
• 立方則サブモデルは、失敗確率が $1 - \delta'$ で抑えられる勾配降下法で解き、ノイズ下でもロバスト性を確保する。
• $ olimits$, $\rho$, および問題パラメータの観点から反復複雑さを制限する非漸近的解析を組み込む。
• 新規の複雑さ解析により、確率的勾配とヘッセ・ベクトル積の評価回数の合計が $\tilde{\mathcal{O}}(\epsilon^{-3.5})$ であることが示された。

実験結果

リサーチクエスチョン

• RQ1 確率的ヘッセ・ベクトル積は、確率的勾配降下法と比較して、非凸最適化における収束を顕著に加速できるか？
• RQ2 分散低減や加速技術を必要とせず、完全に確率的な立方則正則化法が鞍点を回避し、局所最小値に収束できるか？
• RQ3 勾配とヘッセ・ベクトル積の両方を用いた確率的非凸最適化の最適な複雑さは何か？
• RQ4 本手法は、既存の確率的1次および2次手法と比較して、オラクル複雑さの観点でどのように異なるか？
• RQ5 ノイズのあるオラクルを用いた確率的設定において、立方則正則化フレームワークをどのように適応させ、理論的保証を維持できるか？

主な発見

• 提案された確率的立方則正則化法は、 $ olimits$-近似局所最小値を求めるためにオラクル複雑さ $\tilde{\mathcal{O}}(\epsilon^{-3.5})$ を達成する。
• この複雑さは、非凸設定における確率的勾配降下法の $\tilde{\mathcal{O}}(\epsilon^{-4})$ のレートを改善する。
• 繊細な加速や分散低減技術を必要とせず、局所最小値を求めるための最高水準の複雑さに一致する。
• ヘッセ・ベクトル積による曲率情報の活用により、アルゴリズムは鞍点を効果的に回避する。
• 非漸近的解析により、ノイズのある勾配とヘッセ・ベクトル積のオラクルアクセス下でも、この手法がロバストであることが確認された。
• 合成問題およびディープオートエンコーダ問題における実験結果は、この手法の効率性とグローバル最適解への収束を確認している。