[論文レビュー] Towards Explaining the Regularization Effect of Initial Large Learning Rate in Training Neural Networks

Yuanzhi Li, Colin Wei+1 more|arXiv (Cornell University)|Jul 10, 2019

Stochastic Gradient Optimization Techniques参考文献 40被引用数 124

ひとこと要約

この論文は、大きな初期学習率とその後のアニーリングが、学習順序を2型パターン設定で分析し、CIFAR-10パッチで検証することにより、小さな初期学習率より一般化性能が高い理由を理論的・経験的に説明する。

ABSTRACT

Stochastic gradient descent with a large initial learning rate is widely used for training modern neural net architectures. Although a small initial learning rate allows for faster training and better test performance initially, the large learning rate achieves better generalization soon after the learning rate is annealed. Towards explaining this phenomenon, we devise a setting in which we can prove that a two layer network trained with large initial learning rate and annealing provably generalizes better than the same network trained with a small learning rate from the start. The key insight in our analysis is that the order of learning different types of patterns is crucial: because the small learning rate model first memorizes easy-to-generalize, hard-to-fit patterns, it generalizes worse on hard-to-generalize, easier-to-fit patterns than its large learning rate counterpart. This concept translates to a larger-scale setting: we demonstrate that one can add a small patch to CIFAR-10 images that is immediately memorizable by a model with small initial learning rate, but ignored by the model with large learning rate until after annealing. Our experiments show that this causes the small learning rate model's accuracy on unmodified images to suffer, as it relies too much on the patch early on.

研究の動機と目的

• 大きい初期学習率 (LR) を用い、アニーリングによって一般化が向上する理由を、開始時小さいLRと比較して理解を促す。
• 2つのパターンデータ分布を用いて、2層ネットワークにおける学習順序効果を研究する。
• 学習順序が一般化に影響することを、理論結果と実務的な観察を反映する回帰分析で示す。

提案手法

• P: 易/generalize? だが適合が難しい; Q: 適合は容易だが一般化は難しい を別々に扱う特定の U 分解を用いた2層ReLUネットワークを定義する。
• データ分布を2つのパターンタイプと、各タイプを含むサンプルの割合 p および q を固定して構築する。
• SGD を球状ガウスノイズと2段階の学習率スケジュール（大きな LR その後のアニーリング）を用いて学習ダイナミクスを分析する。
• 学習順序と一般化の観点で、大きなLRとアニーリングを比較する非公式定理を導出する。
• ネットワーク出力を Q-pattern 上の成分 g_t(x) と P-pattern 上の成分 r_t(x) に分解し、学習進捗を追跡する。

実験結果

リサーチクエスチョン

• RQ1 大きい初期LRとアニーリングは、2パターンデータ分布に対して小さな初期LRより一般化が良いか？
• RQ2 ネットワークが異なるパターンタイプを学習する順序は、最終的な一般化にどう影響するか？
• RQ3 理論的な現象を、CIFAR-10 の memorizable patches のような制御実験を通じて、実務的な設定で観察できるか？

主な発見

• 構成されたデータセットに対して、初期 LR が大きく、その後アニーリングを行う2層ネットワークは、学習難易度が高く一般化が難しいパターンを先に学習し、アニーリングの後には容易に一般化できる、難しく一般化されるパターンを学習する。
• 小さな初期LR は、容易に一般化できるが難しいパターンを早く学習し、それらに過適合してしまい、訓練後には難しく一般化されるパターンへの一般化が悪化する。
• 大きいLR-then-anneal 法の最終テスト誤差は、分析上おおよそ O(p) に関連する因子で、小さなLR法よりも小さい。
• 論文は、 memorization bias によりトレーニング損失は下げられるがテスト誤差は悪化する可能性があるという下限を提供する。
• 分析に触発された緩和戦略—活性化の前にノイズを追加し、特定のエポックで減衰させる—は、大きいLRの保証に追随し、ロバスト性を改善できる。