[論文レビュー] Normalized Gradient with Adaptive Stepsize Method for Deep Neural Network Training.

Adams Wei Yu, Qihang Lin+2 more|arXiv (Cornell University)|Jul 16, 2017

Stochastic Gradient Optimization Techniques参考文献 3被引用数 21

ひとこと要約

本稿では、ミニバッチ確率的勾配を正規化し、適応的ステップサイズを適用する汎用的一階最適化フレームワークを提案する。凸目的関数に対しては非線形収束を達成し、MLP、CNN、RNNを含むさまざまなアーキテクチャにおいて、特に深層または長距離依存性を持つネットワークで顕著な学習速度向上を示す。

ABSTRACT

In this paper, we propose a generic and simple algorithmic framework for first order optimization. The framework essentially contains two consecutive steps in each iteration: 1) computing and normalizing the mini-batch stochastic gradient; 2) selecting adaptive step size to update the decision variable (parameter) towards the negative of the normalized gradient. We show that the proposed approach, when customized to the popular adaptive stepsize methods, such as AdaGrad, can enjoy a sublinear convergence rate, if the objective is convex. We also conduct extensive empirical studies on various non-convex neural network optimization problems, including multi layer perceptron, convolution neural networks and recurrent neural networks. The results indicate the normalized gradient with adaptive step size can help accelerate the training of neural networks. In particular, significant speedup can be observed if the networks are deep or the dependencies are long.

研究の動機と目的

• 深層学習向けに汎用的で単純な一階最適化フレームワークの開発を目的とする。
• 勾配の正規化とステップサイズの適応により、学習効率の向上を図る。
• 凸目的関数に対して証明可能な収束性を達成するとともに、非凸なニューラルネットワーク設定において実証的利点を得ることを目的とする。
• 深層および再帰的ネットワークを含む多様なアーキテクチャにおける性能評価を目的とする。

提案手法

• 各反復でミニバッチ確率的勾配を計算し、それを単位長に正規化する。
• 適応的ステップサイズ戦略を用いて、正規化勾配と反対方向にパラメータを更新する。
• 収束保証を維持するために、AdaGradなどの既存の適応的手法とフレームワークを統合する。
• 深層MLP、CNN、RNNなどの非凸問題に本手法を適用し、実証的評価を実施する。
• 正規化ステップが高次元パrameter空間における更新を安定化させ、一般化性能を向上させることを保証する。

実験結果

リサーチクエスチョン

• RQ1 正規化勾配と適応的ステップサイズを組み合わせた手法は、深層ニューラルネットワークにおける収束性および学習速度の向上を実現できるか？
• RQ2 AdaGradなどの手法に適応した場合、凸目的関数に対して本フレームワークが非線形収束を維持できるか？
• RQ3 深層MLP、CNN、RNNなどの非凸問題において、本手法はどのように性能を発揮するか？
• RQ4 深層または長距離依存性を持つアーキテクチャにおいて、本手法は顕著な速度向上をもたらすか？

主な発見

• AdaGradにカスタマイズした正規化勾配と適応的ステップサイズは、凸目的関数に対して非線形収束を達成する。
• 実証的結果から、MLP、CNN、RNNを含む複数のニューラルネットワークアーキテクチャにおいて、学習が加速することが示された。
• 特に深層ネットワークや長期間依存性を持つモデル（例：RNN）では顕著な速度向上が観察された。
• 正規化により勾配更新が安定化し、高次元かつ非凸な最適化設定における最適化ダイナミクスが向上した。