[論文レビュー] Stable Weight Decay Regularization

Zeke Xie, Issei Sato+1 more|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications被引用数 17

ひとこと要約

本稿では、勾配降下法（SGD）やAdamなどのモーメンタムベース最適化法およびアダプティブ手法においても不安定さを解消する、動的重み減衰（Stable Weight Decay, SWD）を提案する。重み減衰を勾配の流れを一定に保つ形で再定式化することで、追加のハイパーパrameterを必要とせず、標準的なL2正則化や分離重み減衰を上回り、複雑なAdamの変種を凌駕する。

ABSTRACT

Weight decay is a popular regularization technique for training of deep neural networks. Modern deep learning libraries mainly use L2 regularization as the default implementation of weight decay. \citet{loshchilov2018decoupled} demonstrated that L2 regularization is not identical to weight decay for adaptive gradient methods, such as Adaptive Momentum Estimation (Adam), and proposed Adam with Decoupled Weight Decay (AdamW). However, we found that the popular implementations of weight decay, including L2 regularization and decoupled weight decay, in modern deep learning libraries usually damage performance. First, the L2 regularization is unstable weight decay for all optimizers that use Momentum, such as stochastic gradient descent (SGD). Second, decoupled weight decay is highly unstable for all adaptive gradient methods. We further propose the Stable Weight Decay (SWD) method to fix the unstable weight decay problem from a dynamical perspective. The proposed SWD method makes significant improvements over L2 regularization and decoupled weight decay in our experiments. Simply fixing weight decay in Adam by SWD, with no extra hyperparameter, can outperform complex Adam variants, which have more hyperparameters.

研究の動機と目的

• 深層学習最適化手法における既存の重み減衰実装の不安定性、特にモーメンタムベースおよびアダプティブ手法において解決する。
• アダプティブ最適化下で、標準的なL2正則化と分離重み減衰が一貫した重み減衰ダイナミクスを維持できないことを特定する。
• 多様な最適化手法にわたって安定かつ一貫した重み減衰ダイナミクスを保証する、安定で動的整合性のある重み減衰メカニズムを提案する。
• SWDが追加のハイパーパrameterを導入せず、一般化性能と学習安定性を向上させることを実証する。
• SWDを既存の重み減衰実装の即時置き換えとして位置づけ、複雑なアダプティブ最適化手法を一貫して上回ることを確立する。

提案手法

• 動的システムの観点から重み減衰を再定式化し、あらゆる最適化手法において一貫した減衰行動を保証する。
• モーメンタム法およびアダプティブ手法における安定性を維持しながら、重み減衰と勾配更新を分離する修正された更新ルールを導出する。
• アダプティブ学習率スケーリングにかかわらず一定の減衰率を維持する新しい重み減衰更新を導入する。
• 従来の実装におけるモーメンタムと重み減衰の相互作用が引き起こす不安定性を回避する。
• 異なる最適化手法下での勾配フローのダイナミクスを理論的分析により検証する。
• 深層学習ライブラリへの統合を容易にするために、ハイパーパrameterチューニングを必要としないSWDの実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な重み減衰実装は、SGD with momentum や Adam などの最適化手法で不安定な正則化を引き起こすのか？
• RQ2 アダプティブ最適化下で、L2正則化と分離重み減衰の間で重み減衰のダイナミクスはどのように異なるのか？
• RQ3 すべての最適化手法にわたって安定かつ一貫した減衰ダイナミクスを保証する統一された重み減衰定式化を導出可能か？
• RQ4 安定重み減衰は、既存手法と比較してモデルの一般化性能および収束速度にどのような影響を与えるか？
• RQ5 追加のチューニングなしに、複数のハイパーパrameterに依存する複雑なAdamの変種を上回るのか？

主な発見

• 標準的なL2正則化は、SGD などのすべてのモーメンタムを用いる最適化手法において、不一致な減衰ダイナミクスのため不安定である。
• 分離重み減衰は、Adam などのアダプティブ勾配法において極めて不安定であり、性能劣化を引き起こす。
• 提案された安定重み減衰（SWD）は、すべての最適化手法において一貫した重み減衰行動を保証することで、これらの不安定性を解消する。
• SWDは、複数のベンチマークにおいてL2正則化および分離重み減衰を上回る優れた性能を達成する。
• ハイパーパrameterのチューニングなしに、Adamの重み減衰をSWDに置き換えるだけで、より多くのハイパーパramータを必要とする複雑なAdamの変種を凌駆する。
• SWDは、安定的で信頼性が高く、即時使用可能な正則化手法として、一般化性能と学習安定性を向上させる。