[論文レビュー] Gradient Descent Efficiently Finds the Cubic-Regularized Non-Convex Newton Step

Yair Carmon, John C. Duchi|arXiv (Cornell University)|Dec 2, 2016

Sparse and Compressive Sensing Techniques参考文献 11被引用数 58

ひとこと要約

この論文は、勾配降下法が立方体正則化非凸ニュートンステップのグローバル最適解を効率的に近似できることを示しており、大きな $\varepsilon$ では $O(\varepsilon^{-1}\log(1/\varepsilon))$ ステップ、小さな $\varepsilon$ では $O(\log(1/\varepsilon))$ ステップで $\varepsilon$-精度に達する。次元にたいする対数的依存性を有する。この結果により、一般の滑らかな非凸関数に対する2次停留点への収束速度が確立される。

ABSTRACT

We consider the minimization of non-convex quadratic forms regularized by a cubic term, which exhibit multiple saddle points and poor local minima. Nonetheless, we prove that, under mild assumptions, gradient descent approximates the $ extit{global minimum}$ to within $\varepsilon$ accuracy in $O(\varepsilon^{-1}\log(1/\varepsilon))$ steps for large $\varepsilon$ and $O(\log(1/\varepsilon))$ steps for small $\varepsilon$ (compared to a condition number we define), with at most logarithmic dependence on the problem dimension. When we use gradient descent to approximate the Nesterov-Polyak cubic-regularized Newton step, our result implies a rate of convergence to second-order stationary points of general smooth non-convex functions.

研究の動機と目的

• 立方体正則化された非凸二次形式を最小化する勾配降下法の収束を分析すること。
• 弱い仮定の下でグローバル最小値への収束速度を確立すること。
• 勾配降下法が次元にほとんど依存しない低次元のNesterov-Polyak立方体正則化ニュートンステップを近似できることを示すこと。
• 一般の滑らかな非凸関数に対する2次停留点への収束速度を導出すること。

提案手法

• 勾配降下法を、立方体項で正則化された非凸二次関数を最小化するために適用する。
• 問題の難易度と $\varepsilon$ 依存性を特徴付けるための条件数を導入する。
• 滑らかさと曲率の仮定に基づいて収束境界を導出し、次元にたいする対数的依存性を有する。
• 立方体正則化ニュートンステップの構造を活用して、必要な反復回数の上限を導出する。
• 目的関数のギャップにおける誤差制御を伴う反復的降下により、理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法は、立方体正則化非凸二次形式のグローバル最小値を効率的に近似できるか？
• RQ2 条件数を用いて、勾配降下法のグローバル最小値への収束速度は $\varepsilon$ とどのように関係するか？
• RQ3 次元の大きさが、この設定における勾配降下法の収束複雑度にどのように影響するか？
• RQ4 勾配降下法による立方体正則化ニュートンステップの近似は、2次停留点への収束速度をもたらすか？

主な発見

• 大きな $\varepsilon$ に対して、勾配降下法は $O(\varepsilon^{-1}\log(1/\varepsilon))$ の収束ステップ数を達成し、グローバル最小値の $\varepsilon$-精度に到達する。
• 小さな $\varepsilon$ に対しては収束速度が $O(\log(1/\varepsilon))$ ステップに改善され、有利な状況下でより速い収束を示す。
• 収束速度は次元にたいして高々対数的依存性を示し、スケーラビリティを保証する。
• この手法は、Nesterov-Polyak立方体正則化ニュートンステップを近似するための理論的基盤を提供する。
• この結果は、一般の滑らかな非凸関数に対する2次停留点への収束速度を示唆する。