[論文レビュー] Why Do We Need Weight Decay in Modern Deep Learning?

Francesco D’Angelo, Maksym Andriushchenko+2 more|arXiv (Cornell University)|Oct 6, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、現代の深層学習における重み減衰が、明示的な正則化としての役割にとどまらず、主に最適化ダイナミクスを変化させることによって機能することを明らかにしている。重み減衰は確率的最適化におけるバイアス・バリアンスのバランスを保つことで訓練を安定化させ、過パラメータ化されたモデルにおける一般化性能を向上させるとともに、bfloat16混合精度学習における損失の発散を防ぐ。これは、明示的正則化の役割が限定的であるにもかかわらず、効率的かつ安定的な大規模言語モデルの学習に不可欠であることを示している。

ABSTRACT

Weight decay is a broadly used technique for training state-of-the-art deep networks from image classification to large language models. Despite its widespread usage and being extensively studied in the classical literature, its role remains poorly understood for deep learning. In this work, we highlight that the role of weight decay in modern deep learning is different from its regularization effect studied in classical learning theory. For deep networks on vision tasks trained with multipass SGD, we show how weight decay modifies the optimization dynamics enhancing the ever-present implicit regularization of SGD via the loss stabilization mechanism. In contrast, for large language models trained with nearly one-epoch training, we describe how weight decay balances the bias-variance tradeoff in stochastic optimization leading to lower training loss and improved training stability. Overall, we present a unifying perspective from ResNets on vision tasks to LLMs: weight decay is never useful as an explicit regularizer but instead changes the training dynamics in a desirable way. The code is available at https://github.com/tml-epfl/why-weight-decay

研究の動機と目的

• 現代の深層学習、特に過パラメータ化されたモデルや大規模言語モデル（LLMs）における重み減衰の真の役割を明確にすること。
• 現代の設定において明示的正則化としての影響が限定的であるにもかかわらず、重み減衰がなぜ不可欠であるかを調査すること。
• bfloat16混合精度シナリオにおける重み減衰が訓練をどのように安定化させるかを説明すること。これは、大規模言語モデルのスケーリングに不可欠な要件である。
• 重み減衰の効果が、暗黙的正則化、最適化ダイナミクス、数値的安定性のどの側面に寄与しているかを区別すること。

提案手法

• 過パラメータ化されたResNetsを分析し、重み減衰が損失の安定化とヘッセ行列のトレース正則化を通じて暗黙的正則化を強化することを示した。
• ほぼ1回のパスで学習されたLLMsを用いて、重み減衰が確率的最適化におけるバイアス・バリアンストレードオフをどのようにバランスさせるかを実証した。
• 視覚的・言語的モデルを対象とした経験的アブレーションスタディを実施し、重み減衰が訓練ダイナミクスおよび損失安定性に与える影響を分離した。
• bfloat16での学習実験を通じて、重み減衰が勾配爆発とは関係のない、数値精度の制限に起因する後期の損失発散を防ぐことを示した。
• 学習率スケジューリングと重み平均化とを比較し、収束性および一般化性能に与える重み減衰の影響を評価した。
• 重み減衰を正則化ではなく、動的最適化子の修正要因として捉える包括的視点を提唱し、視覚的および言語的タスクでその有効性を検証した。

(a)

実験結果

リサーチクエスチョン

• RQ1 明示的正則化としての役割が限定的であるにもかかわらず、なぜ重み減衰が現代の深層学習で広く使われているのか？
• RQ2 正則化を超えて、重み減衰が過パラメータ化された深層ネットワークにおける最適化ダイナミクスにどのように影響を与えるのか？
• RQ3 大規模言語モデルのbfloat16混合精度学習において、重み減衰はどのように訓練の安定性を向上させるのか？
• RQ4 現代のLLMsにおいて、重み減衰は主に一般化に影響を与えるのか、それとも損失最小化に影響を与えるのか？
• RQ5 重み減衰は、確率的最適化におけるバイアス・バリアンストレードオフをバランスさせるメカニズムとして理解できるか？

主な発見

• 重み減衰は、数値精度の制限に起因する後期の損失発散を防ぐことで、bfloat16混合精度学習における訓練損失の安定化を実現する。float32での学習が安定している場合でも同様に有効である。
• 過パラメータ化されたResNetsでは、重み減衰がヘッセ行列のトレース正則化を通じて損失の軌道を安定化させることで、暗黙的正則化を強化し、一般化性能を向上させる。
• ほぼ1回のパスで学習された大規模言語モデルでは、重み減衰が明示的正則化ではなく、確率的最適化におけるバイアス・バリアンストレードオフのバランスを改善することで、訓練損失を低減する。
• bfloat16では、重み減衰により高い学習率（例：0.001）での安定した学習が可能となる。一方、学習率を下げる方法は効果が低く、遅いため、重み減衰はより効率的な解決策である。
• 現代の深層学習において重み減衰は主な正則化要因ではない。代わりに、収束性と安定性を向上させる最適化ダイナミクスを調整する能力に起因して広く使われている。
• 経験的結果から、一定の学習率での重み減衰は、学習率の減衰と重み平均化を組み合わせた場合とほぼ同等の性能を示す。これは、重み減衰の役割がハイパーパramータチューニングではなく、動的制御に起因していることを示唆している。

(b)