[論文レビュー] On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective

Zeke Xie, Zhiqiang Xu+3 more|arXiv (Cornell University)|Nov 23, 2020

Advanced Neural Network Applications被引用数 6

ひとこと要約

この論文は、Adamのような自己適応的最適化手法における重み減衰が、学習終了時に大きな勾配ノルムを引き起こす可能性があることを特定した。これを緩和するために、勾配ノルムの増加に応じて重み減衰の強度を動的に低下させる勾配ノルムに配慮したスケジューラーであるScheduled Weight Decay（SWD）を提案した。この手法は、一般化性能を著しく向上させ、多くの場合SGDの性能に並ぶかそれを上回る。

ABSTRACT

Weight decay is a simple yet powerful regularization technique that has been very widely used in training of deep neural networks (DNNs). While weight decay has attracted much attention, previous studies fail to discover some overlooked pitfalls on large gradient norms resulted by weight decay. In this paper, we discover that, weight decay can unfortunately lead to large gradient norms at the final phase (or the terminated solution) of training, which often indicates bad convergence and poor generalization. To mitigate the gradient-norm-centered pitfalls, we present the first practical scheduler for weight decay, called the Scheduled Weight Decay (SWD) method that can dynamically adjust the weight decay strength according to the gradient norm and significantly penalize large gradient norms during training. Our experiments also support that SWD indeed mitigates large gradient norms and often significantly outperforms the conventional constant weight decay strategy for Adaptive Moment Estimation (Adam).

研究の動機と目的

• 自己適応的最適化における重み減衰の見過ごされた落とし穴を特定すること、特に学習終了時に大きな勾配ノルムを誘発する傾向を特定すること。
• 大きな勾配ノルムが、Adamのような自己適応的最適化手法における収束性と一般化性能にどのように悪影響を及えるかを分析すること。
• 学習中に勾配ノルムに応じてその強度を動的に調整する、新しい勾配ノルムに配慮した重み減衰スケジューラーを提案すること。
• SWDがAdamにおける定数の重み減衰戦略よりも一般化性能と収束性を向上させることを実験的に検証すること。
• SWDが畳み込みニューラルネットワーク（CNN）において、AdamとSGDの間の一般化性能の差を埋めることを示すこと。

提案手法

• 論文は、走査平均の勾配ノルムに基づいて減衰強度を調整する動的重み減衰スケジューラーであるScheduled Weight Decay（SWD）を導入した。
• SWDは、勾配ノルムが増加する際に重み減衰を減少させる勾配ノルムに配慮したメカニズムを用い、負のフィードバック系として機能する。
• 重み減衰項を分離し、そのスケーリングを勾配ノルムの二乗の移動平均の逆数にすることで、Adamに統合した。
• コアとなる更新式は、Adamのパラメータ更新を、$ \frac{1}{\sqrt{\bar{v}_t} + \epsilon} $ に比例する学習率調整を含むように変更した。ここで $ \bar{v}_t $ は非中心化2階モーメント推定値の平均である。
• スケジューラーは、大きな勾配ノルムをペナルティ化する設計となっており、低い勾配ノルムが平坦な最小値と関連し、一般化性能が向上することと理論的洞察を一致させる。
• SWDは他の最適化手法とも互換性があり、再学習を必要としないため、既存の学習パイプラインに即座に統合可能なプラグイン改善手法である。

実験結果

リサーチクエスチョン

• RQ1 Adamにおける重み減衰は、学習終了時に大きな勾配ノルムを引き起こすか？ もしそうなら、その理由は何か？
• RQ2 学習終了時の大きな勾配ノルムが、モデルの収束性と一般化性能にどのように影響を与えるか？
• RQ3 動的で勾配ノルムに配慮した重み減衰スケジューラーは、定数の重み減衰と比較して、Adamにおける一般化性能を向上させることができるか？
• RQ4 SWDは、CNNにおいてAdamとSGDの間の一般化性能の差をどの程度埋めることができるか？
• RQ5 SWDは、学習率や初期の重み減衰値といったハイパーパrameterの選択に対して、ロバストであるか？

主な発見

• SWDは、特にAdamにおいて、学習終了時の大きな勾配ノルムを顕著に低減させ、収束性と一般化性能の向上に寄与した。
• VGG16を用いたCIFAR-10では、AdamS（SWDを適用したAdam）がテスト誤差4.52%を達成し、AdamW（4.90%）およびAdam（5.49%）を上回った。
• ResNet18では、AdamSが4.52%のテスト誤差を記録したのに対し、AdamWは4.90%、Adamは5.49%であった。これは一貫した優位性を示した。
• コサイン学習率スケジューリングとウォームリセットを組み合わせた場合、すべてのモデルにおいて、AdamSはAdamWおよびAdamよりも低いテスト誤差と訓練損失を維持した。
• AdamSはハイパーパrameterの選択に対して高いロバスト性を示し、幅広い重み減衰値の範囲で優れた性能を維持した。
• 一部のタスク、例えば言語モデリングでは、SWDが$L_2$正則化よりも性能向上を示さなかったため、特定のタスクでは限界があることが示された。