[論文レビュー] Study on the Large Batch Size Training of Neural Networks Based on the Second Order Gradient

Fengli Gao, Huicai Zhong|arXiv (Cornell University)|Dec 16, 2020

Advanced Neural Network Applications参考文献 29被引用数 6

ひとこと要約

本稿では、2次勾配情報のモデル化により、深層ニューラルネットワークの大バッチ学習における一般化ギャップを解消するための曲率に基づく学習率（CBLR）アルゴリズムを提案する。理論的に、消失するパラメータ更新ステップが鋭い最小値に関連することを示し、LARSのようなレイヤーごとの学習率手法がCBLRの特殊ケースであることを示し、サンプルの破棄とバッチサイズスケジューリングを用いて一般化性能の向上を実証する。

ABSTRACT

Large batch size training in deep neural networks (DNNs) possesses a well-known 'generalization gap' that remarkably induces generalization performance degradation. However, it remains unclear how varying batch size affects the structure of a NN. Here, we combine theory with experiments to explore the evolution of the basic structural properties, including gradient, parameter update step length, and loss update step length of NNs under varying batch sizes. We provide new guidance to improve generalization, which is further verified by two designed methods involving discarding small-loss samples and scheduling batch size. A curvature-based learning rate (CBLR) algorithm is proposed to better fit the curvature variation, a sensitive factor affecting large batch size training, across layers in a NN. As an approximation of CBLR, the median-curvature LR (MCLR) algorithm is found to gain comparable performance to Layer-wise Adaptive Rate Scaling (LARS) algorithm. Our theoretical results and algorithm offer geometry-based explanations to the existing studies. Furthermore, we demonstrate that the layer wise LR algorithms, for example LARS, can be regarded as special instances of CBLR. Finally, we deduce a theoretical geometric picture of large batch size training, and show that all the network parameters tend to center on their related minima.

研究の動機と目的

• 深層ニューラルネットワークの大バッチ学習における一般化ギャップの幾何的要因を理解すること。
• バッチサイズが勾配、パラメータ更新ステップ長、および損失更新ステップ長という基本的構造的性質に与える影響を分析すること。
• ネットワーク全体におけるレイヤー固有の曲率変動に適応する、曲率に配慮した学習率戦略を開発すること。
• LARS、LAMB、および学習率ウォームアップといった既存手法を2次幾何学的性質を通じて説明する理論的枠組みを提供すること。
• サンプル破棄とバッチサイズスケジューリングを通じた実用的ガイダンスを提供し、大バッチ学習における一般化劣化を緩和すること。

提案手法

• 2次勾配近似を用いて、ネットワークパラメータが最近接する損失最小値からの距離をモデル化することで、大バッチ学習の理論的限界を導出する。
• レイヤー間の局所的曲率変動に応じて学習率をスケーリングする、曲率に基づく学習率（CBLR）アルゴリズムを提案する。これにより、鋭い最小値や平坦な最小値への適応性が向上する。
• 計算がより単純であるにもかかわらずLARSの性能と同等の一般化性能を達成する、CBLRの実用的近似である中央値曲率学習率（MCLR）を導入する。
• モース理論と統計的解析を用いて、異なるバッチサイズ下でのパラメータから最小値までの距離の分布をモデル化し、バッチサイズが増加するにつれて最小値への収束が生じることを示す。
• 勾配および更新ステップ長のレイヤー間での変化を、異なるバッチサイズ下で分析することで理論を実証的に検証する。
• 一般化性能の向上を目的とした2つの実用的アプローチ——小損失サンプルの破棄と動的バッチサイズスケジューリング——を設計し、これらは曲率および更新ステップ長のダイナミクスに基づく。

実験結果

リサーチクエスチョン

• RQ1 バッチサイズを増加させることで、深層ニューラルネットワークのパラメータ、勾配、損失更新の幾何的構造にどのような影響が生じるか？
• RQ2 なぜ大バッチ学習では一般化性能が劣るのか。損失関数の曲率はその要因としてどのような役割を果たすのか？
• RQ3 2次勾配情報を利用することで、大バッチ学習における一般化性能を向上させるより良い学習率スケジューリングを設計可能か？
• RQ4 LARS、学習率ウォームアップ、バッチサイズスケジューリングといった既存手法は、提案された曲率に基づくフレームワークとどのように関連しているか？
• RQ5 特にパラメータが最小値に収束するという観点から、大バッチ学習における理論的幾何的像はどのようなものか？

主な発見

• 大バッチ学習では、勾配の分散が減少することでパラメータ更新ステップ長が消失し、鋭い最小値への過剰収束が生じる。
• 理論的分析により、バッチサイズが増加するにつれて、ネットワークパラメータは最近接する損失最小値に集中し、意味的な最適化が停止する傾向にあることが示された。
• 曲率に基づく学習率（CBLR）アルゴリズムは、レイヤー固有の曲率に適応して学習率を調整することで、大バッチ設定下での一般化性能を著しく向上させる。
• CBLRの中央値曲率学習率（MCLR）近似は、LARSと同等の性能を達成しており、その実用性と理論的根拠を裏付けた。
• LARS や LAMB といったレイヤーごとの学習率手法が、提案された CBLR フレームワークの特殊ケースであることが示され、それらの行動が共通の幾何的原則の下に統合された。
• 2つの実用的アプローチ——小損失サンプルの破棄とバッチサイズスケジューリング——は、一般化ギャップを効果的に緩和することができ、AlexNet および CIFAR-10 における実証的検証がなされた。