[論文レビュー] Demon: Momentum Decay for Improved Neural Network Training

John Chen, C. Wolfe+2 more|arXiv (Cornell University)|May 4, 2021

Stochastic Gradient Optimization Techniques参考文献 27被引用数 6

ひとこと要約

この論文では、過去の勾配の累積的影響を時間とともに減少させるデシケイティングモーメンタムルールであるDemonを紹介する。これにより、深層ニューラルネットワークにおける学習の安定性と性能が向上する。AdamやモーメンタムSGDに適用したところ、学習率スケジューリングと同等の結果が得られ、ハイパーパrameterチューニングへの感受性が著しく低い。

ABSTRACT

Momentum is a popular technique in deep learning for gradient-based optimizers. We propose a decaying momentum (Demon) rule, motivated by decaying the total contribution of a gradient to all future updates. Applying Demon to Adam leads to significantly improved training, notably competitive to momentum SGD with learning rate decay, even in settings in which adaptive methods are typically non-competitive. Similarly, applying Demon to momentum SGD improves over momentum SGD with learning rate decay in most cases. Notably, Demon momentum SGD is observed to be significantly less sensitive to parameter tuning than momentum SGD with learning rate decay schedule, critical to training neural networks in practice. Results are demonstrated across a variety of settings and architectures, including image classification, generative models, and language models. Demon is easy to implement and tune, and incurs limited extra computational overhead, compared to the vanilla counterparts. Code is readily available.

研究の動機と目的

• Adamのような標準的な自己適応最適化手法にモーメンタムの減衰がないことによる、学習の安定性と性能の制限を是正すること。
• 実際の応用で感受性が高く、チューニングが難しい学習率スケジューリングに依存するのを減らすこと。
• 多様なアーキテクチャにわたる一般化性能と収束性を向上させるモーメンタム減衰機構を開発すること。
• ベースライン最適化手法と比較して、実装が簡単で計算コストが低い方法を構築すること。

提案手法

• Demonは、時間の経過に従い減少する時変動型のモーメンタム係数を導入し、過去の勾配が将来のパラメータ更新に与える寄与を減少させる。
• この減衰は、AdamおよびモーメンタムSGDの両方におけるモーメンタム項に適用され、勾配の指数的移動平均が変更される。
• 減衰スケジュールは、歴史的勾配の影響を段階的に低下させることを目的として設計されており、学習率を変更せずに学習率スケジューリングの効果を模倣する。
• 既存の最適化手法への修正は最小限に抑えられ、計算コストの増加もほとんどない。
• 減衰は学習率とは独立して適用されるため、より柔軟で安定した学習が可能になる。
• Demonは、自己適応的および非自己適応的最適化手法の両方と互換性があり、複雑さを増すことなく性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習率スケジューリングに依存せずに、デシケイティングモーメンタムルールが深層ニューラルネットワークの学習性能を向上させられるか？
• RQ2 学習率スケジューリングを用いたモーメンタムSGDと比較して、Demonの精度とハイパーパrameter感受性はどのように異なるか？
• RQ3 Vision、言語、生成モデルのような多様なアーキテクチャにおいて、Demonは一般化性能を向上させるか？
• RQ4 通常は競争力に劣るが、Adamのような自己適応最適化手法に対してもDemonは有効に適用可能か？
• RQ5 さまざまなタスクにおいて、Demonは学習の安定性と収束速度にどのように影響を与えるか？

主な発見

• AdamにDemonを適用した場合、自己適応的手法が通常は劣る状況でも、学習率スケジューリングを用いたモーメンタムSGDと同等の性能を達成する。
• Demonを適用したモーメンタムSGDは、評価されたほとんどのアーキテクチャとタスクにおいて、学習率スケジューリングを用いたモーメンタムSGDを上回る性能を示す。
• Demonはハイパーパrameterチューニングへの感受性を顕著に低減し、特に学習率スケジューリングに比べて顕著である。
• 計算コストの増加は無視できるほど小さく、実世界の学習に実用的である。
• 画像分類、言語モデリング、生成モデリングの各タスクにおいて、Demonは学習の安定性と収束性を向上させる。
• Demonのコードは公開されており、容易な統合と再現性を可能にしている。