[論文レビュー] AdaGrad stepsizes: Sharp convergence over nonconvex landscapes, from any initialization

Rachel Ward, Xiaoxia Wu+1 more|arXiv (Cornell University)|Jun 5, 2018

Stochastic Gradient Optimization Techniques被引用数 68

ひとこと要約

この論文は、非凸最適化におけるAdaGrad-Normの鋭い収束保証を確立し、確率的設定では𝒪(log(N)/√N)、バッチ設定では𝒪(1/N)の速度で停留点に収束することを証明している。ステップサイズのチューニングを必要としない。SGDとは異なり、AdaGrad-Normはハイパーパrameterの選択に対して頑健であり、初期化やノイズレベルの違いに対しても効果的である。

ABSTRACT

Adaptive gradient methods such as AdaGrad and its variants update the stepsize in stochastic gradient descent on the fly according to the gradients received along the way; such methods have gained widespread use in large-scale optimization for their ability to converge robustly, without the need to fine-tune the stepsize schedule. Yet, the theoretical guarantees to date for AdaGrad are for online and convex optimization. We bridge this gap by providing theoretical guarantees for the convergence of AdaGrad for smooth, nonconvex functions. We show that the norm version of AdaGrad (AdaGrad-Norm) converges to a stationary point at the $\mathcal{O}(\log(N)/\sqrt{N})$ rate in the stochastic setting, and at the optimal $\mathcal{O}(1/N)$ rate in the batch (non-stochastic) setting -- in this sense, our convergence guarantees are 'sharp'. In particular, the convergence of AdaGrad-Norm is robust to the choice of all hyper-parameters of the algorithm, in contrast to stochastic gradient descent whose convergence depends crucially on tuning the step-size to the (generally unknown) Lipschitz smoothness constant and level of stochastic noise on the gradient. Extensive numerical experiments are provided to corroborate our theory; moreover, the experiments suggest that the robustness of AdaGrad-Norm extends to state-of-the-art models in deep learning, without sacrificing generalization.

研究の動機と目的

• 非凸最適化におけるAdaGradの収束を理解する理論的ギャップを埋めること。これまでの保証は凸およびオンライン設定に限られていた。
• 滑らかで非凸な関数に対して、確率的およびバッチ設定におけるAdaGrad-Normの収束速度を確立すること。
• SGDとは異なり、未知の滑らかさやノイズレベルに依存してステップサイズをチューニングする必要があるが、AdaGrad-Normの収束がハイパーパrameterの選択に対して頑健であることを示すこと。
• 深層学習モデルを用いた広範な数値実験を通じて理論的発見を検証すること。
• AdaGrad-Normの頑健性が、最先端の深層学習モデルにおける一般化性能を損なわないことを示すこと。

提案手法

• ステップサイズを累積勾配ノルムで正規化するAdaGradの変種、AdaGrad-Normを提案。これにより、適応的かつ安定した更新が保証される。
• 確率的設定における収束を分析し、勾配ノルムの期待値を抑え、𝒪(log(N)/√N)の収束速度を示した。
• 滑らかさとリプシッツ勾配の仮定を用いて、バッチ（非確率的）設定における最適な𝒪(1/N)収束速度を確立した。
• 初期化、ハイパーパramータの値、勾配推定におけるノイズレベルにかかわらず成立する理論的境界を導出した。
• 勾配ノルムとステップサイズの適応の時間的変化を追跡する、新しい分析フレームワークを採用した。
• ResNetやTransformerを含む深層学習モデルにおける広範な数値実験を通じて、理論的主張を検証した。

実験結果

リサーチクエスチョン

• RQ1 AdaGrad-Normは、これまでの理論的結果が凸またはオンライン設定に限られていた非凸最適化においても収束保証を達成できるか？
• RQ2 滑らかで非凸な関数に対して、AdaGrad-Normの確率的およびバッチ設定における収束速度は何か？
• RQ3 SGDとは異なり、ステップサイズを未知の滑らかさやノイズレベルに合わせて慎重にチューニングする必要があるが、AdaGrad-Normはハイパーパramータの選択および初期化に対してどれほど頑健か？
• RQ4 AdaGrad-Normの理論的頑健性は、一般化性能の低下を伴わずに実用的な深層学習モデルへも拡張可能か？
• RQ5 バッチ設定においてAdaGrad-Normは最適な収束速度を達成できるか？また、標準的なSGDと比較するとどうなるか？

主な発見

• 確率的設定では、AdaGrad-Normは停留点に𝒪(log(N)/√N)の速度で収束し、非凸確率的最適化における既知の下界と一致する。
• バッチ設定では、AdaGrad-Normは最適な𝒪(1/N)収束速度を達成し、滑らかな非凸関数に対する1次最適化法で達成可能な最速の速度である。
• AdaGrad-Normの収束は、初期化、ステップサイズ、ノイズレベルを含むすべてのハイパーパramータに対して頑健である。これはSGDとは対照的で、SGDはステップサイズの正確なチューニングに依存する。
• 数値実験により、ResNetやTransformerアーキテクチャを含む多様な深層学習モデルにおいて、AdaGrad-Normが強力な性能を維持することが確認された。
• AdaGrad-Normは深層学習モデルにおいて一般化性能を保持しており、その頑健性がモデルの精度を犠牲にしないことを示している。
• 理論的分析により、AdaGrad-Normの適応的ステップサイズ機構が、勾配の変動性を内蔵的に捉えており、手動のチューニングなしで安定した収束を可能にすることが明らかになった。