[論文レビュー] Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training

Shen-Yi Zhao, Shi Chen+2 more|arXiv (Cornell University)|Jul 28, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、正規化勾配降下法とポリアックのモーメンタムを組み合わせることで、深層学習における大規模ミニバッチ学習を効果的に行える、新しい最適化手法であるStochastic Normalized Gradient Descent with Momentum (SNGM) を提案する。SNGMは、モーメンタムSGD よりも低い計算複雑度で ϵ-停留点への収束を理論的に達成でき、ウォームアップや学習率スケーリングのヒューリスティクスを必要とせず、大規模バッチでも高速な学習と最先端のテスト精度を実現する。

ABSTRACT

Stochastic gradient descent~(SGD) and its variants have been the dominating optimization methods in machine learning. Compared to SGD with small-batch training, SGD with large-batch training can better utilize the computational power of current multi-core systems such as graphics processing units~(GPUs) and can reduce the number of communication rounds in distributed training settings. Thus, SGD with large-batch training has attracted considerable attention. However, existing empirical results showed that large-batch training typically leads to a drop in generalization accuracy. Hence, how to guarantee the generalization ability in large-batch training becomes a challenging task. In this paper, we propose a simple yet effective method, called stochastic normalized gradient descent with momentum~(SNGM), for large-batch training. We prove that with the same number of gradient computations, SNGM can adopt a larger batch size than momentum SGD~(MSGD), which is one of the most widely used variants of SGD, to converge to an $ε$-stationary point. Empirical results on deep learning verify that when adopting the same large batch size, SNGM can achieve better test accuracy than MSGD and other state-of-the-art large-batch training methods.

研究の動機と目的

• 大規模ミニバッチSGD学習で一般的に観察される汎化精度の低下、特に深層ニューラルネットワークにおける問題に対処すること。
• 大規模バッチサイズを用いても高いテスト精度を維持できる理論的裏付けのある最適化手法の開発。
• 収束に必要なパラメータ更新回数を削減することで、学習効率の向上。
• 緩い滑らかさを満たす非凸目的関数に対する収束複雑度の理論的分析—これは先行研究におけるギャップである。

提案手法

• SNGMは、勾配ノルムの逆数で更新方向をスケーリングすることで最適化を安定化させる正規化勾配降下法とポリアックのモーメンタムを統合する。
• この手法は、正規化された勾配方向を蓄積するモーメンタム項を用い、大バッチ環境下での収束安定性を向上させる。
• 勾配正規化により、学習率スケーリングやウォームアップ戦略といったヒューリスティクスを内蔵的に回避することで、訓練を安定化させる。
• アルゴリズムは大バッチ学習を想定しており、緩い滑らかさの仮定の下で収束複雑度に関する理論的保証を有する。
• 非常に大きなバッチサイズを用いる場合の訓練安定性を維持するため、ポリパワー学習率スケジュールと勾配蓄積を採用する。
• 理論的分析により、SNGMが緩い滑らかさを満たす目的関数に対して O(1/ε⁴) の計算複雑度を達成することが示され、これは確率的最適化分野における画期的な結果である。

実験結果

リサーチクエスチョン

• RQ1 大規模バッチサイズを用いる場合、モーメンタムを組み合わせた正規化勾配法は、標準的なモーメンタムSGD よりも優れた一般化性能を達成できるか？
• RQ2 同じバッチサイズ下で、SNGM はモーメンタムSGD よりも低い計算複雑度で ϵ-停留点への収束を維持できるか？
• RQ3 SNGM はウォームアップや学習率スケーリングといったヒューリスティクスに依存せずに、大規模バッチ学習で最先端のテスト精度を達成できるか？
• RQ4 緩い滑らかさの仮定の下で、確率的最適化手法の理論的収束複雑度は何か？

主な発見

• CIFAR10 において、バッチサイズ 4096 を用いた SNGM は、ResNet20 で 91.42% のテスト精度を達成し、小バッチサイズ 128 を用いた MSGD の 91.63% と同等の性能を示した。
• ResNet56 では、バッチサイズ 4096 を用いた SNGM が 93.12% のテスト精度を達成し、MSGD（88.55%）と LARS（ウォームアップありで 92.98%）を上回った。
• ImageNet では、バッチサイズ 8192 を用いた SNGM が、ResNet18 で 69.65% のトップ-1精度、ResNet50 で 75.42% を達成し、小バッチサイズでの MSGD の 69.71% と 75.70% に非常に近い性能を示した。
• LARS やその他のヒューリスティクス手法とは異なり、ウォームアップや学習率スケーリングを用いず、SNGM はその堅牢性を示した。
• 理論的分析により、SNGM が緩い滑らかさを満たす目的関数に対して O(1/ε⁴) の計算複雑度を達成することが確認された。これは確率的最適化分野における画期的な結果である。
• SNGM は、同じ計算複雑度で同じ ϵ-停留点に収束できるため、MSGD よりも大きなバッチサイズを採用可能であり、収束がより速いことを示唆している。