[論文レビュー] Block-Normalized Gradient Method: An Empirical Study for Training Deep Neural Network

Adams Wei Yu, Lei Huang+3 more|arXiv (Cornell University)|Jul 16, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用数 17

ひとこと要約

本稿では、勾配を層ごとに正規化することで消失・爆発勾配を緩和する、シンプルでありながら効果的な最適化フレームワーク「ブロック正規化勾配（BNG）」を提案する。実験的結果により、BNGは学習収束性と一般化性能を顕著に向上させ、ImageNetではSGDMNGがAdamを上回り、RNN言語モデルではAdamNGが優れた性能を示す。

ABSTRACT

In this paper, we propose a generic and simple strategy for utilizing stochastic gradient information in optimization. The technique essentially contains two consecutive steps in each iteration: 1) computing and normalizing each block (layer) of the mini-batch stochastic gradient; 2) selecting appropriate step size to update the decision variable (parameter) towards the negative of the block-normalized gradient. We conduct extensive empirical studies on various non-convex neural network optimization problems, including multi-layer perceptron, convolution neural networks and recurrent neural networks. The results indicate the block-normalized gradient can help accelerate the training of neural networks. In particular, we observe that the normalized gradient methods having constant step size with occasionally decay, such as SGD with momentum, have better performance in the deep convolution neural networks, while those with adaptive step sizes, such as Adam, perform better in recurrent neural networks. Besides, we also observe this line of methods can lead to solutions with better generalization properties, which is confirmed by the performance improvement over strong baselines.

研究の動機と目的

• 新規な正規化戦略を用いて、深層ニューラルネットワーク学習における消失・爆発勾配の課題に取り組む。
• さまざまな深層学習アーキテクチャに適用可能な汎用的で、層単位の勾配正規化技術を開発する。
• 異なるニューラルネットワークタイプおよびデータセットにおける最適化性能に与える正規化勾配の影響を調査する。
• 定数ステップサイズと適応的ステップサイズを組み合わせた際の有効性を比較する。
• 前向きおよび順方向モデルの両方において、一般化性能の向上と収束速度の向上を実証する。

提案手法

• ニューラルネットワークの各層（ブロック）に対してミニバッチ確率的勾配を計算する。
• 各層の勾配をそのL2ノルムで割ることで正規化し、単位ノルムの方向ベクトルを生成する。
• 最適化において、正規化された勾配を探索方向として用い、方向と大きさを分離する。
• 定数ステップサイズに定期的な減衰（例：モーメンタム付きSGD）または適応的ステップサイズ（例：Adam、AdaGrad）を適用する。
• 既存の一次最適化アルゴリズムのコア更新ルールを変更せずに、正規化勾配を統合する。
• 計算効率を維持するため、各層ごとに正規化を適用し、確率的最適化のスケーラビリティを保つ。

実験結果

リサーチクエスチョン

• RQ1 層単位の勾配正規化は、深層ニューラルネットワークにおける学習安定性と収束速度を向上させるか？
• RQ2 さまざまなアーキテクチャにおいて、ブロック正規化勾配法は標準的なSGDやAdamと比較してテスト精度に優れているか？
• RQ3 定数ステップサイズと適応的ステップサイズの組み合わせのうち、正規化勾配と組み合わせた場合に最も優れた性能を示すのはどれか？
• RQ4 正規化勾配手法は、非正規化手法と比較して、より優れた一般化性能を達成できるか？
• RQ5 画像分類、言語モデル、センチメント分析といった多様なタスクにおいて、この手法はどのように性能を発揮するか？

主な発見

• ブロック正規化勾配法は、CNN、RNN、前向きネットワークを含む複数の深層学習タスクにおいて、一貫して学習性能を向上させる。
• ResNetを用いたImageNetでは、SGDMNGがトップ-1誤差率28.43%を達成し、SGDM（29.05%）とAdam（35.6%）を上回り、優れた一般化性能を示した。
• Penn Tree Bankの言語モデルタスクでは、AdamNGが77.11%の検証精度を達成し、Adam（74.02%）とSGDM（64.35%）をすべてのBPTT長さで上回った。
• Rotten Tomatoesにおけるセンチメント分析では、AdamNGが最高の検証精度を記録し、Adam や SGDM といったすべてのベースラインを顕著に上回った。
• 非常に深いネットワークでは、勾配正規化が消失・爆発勾配問題をより効果的に緩和するという顕著な利点を示した。
• RNNでは適応的ステップサイズ手法（例：AdamNG）が定数ステップサイズ手法（例：SGDMNG）を上回ったが、CNNでは逆の傾向が見られ、タスクに応じた最適な設定が異なることが示された。