[論文レビュー] Gradient Amplification: An efficient way to train deep neural networks

Sunitha Basodi, Chunyan Ji+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Neural Network Applications参考文献 26被引用数 13

ひとこと要約

この論文では、勾配の消失問題を軽減するために、バックプロパゲーション中に勾配を動的に増幅する、勾配増幅という新しいトレーニング戦略を提案する。特定の層、特にバッチ正則化（BN）層において、交互にトレーニングエポックを経て勾配を増幅することで、収束が速くなり、精度が向上する。高い学習率でも、元のモデルに比べて最大2.27%高いテスト精度を達成でき、トレーニング時間を顕著に短縮する。

ABSTRACT

Improving performance of deep learning models and reducing their training times are ongoing challenges in deep neural networks. There are several approaches proposed to address these challenges one of which is to increase the depth of the neural networks. Such deeper networks not only increase training times, but also suffer from vanishing gradients problem while training. In this work, we propose gradient amplification approach for training deep learning models to prevent vanishing gradients and also develop a training strategy to enable or disable gradient amplification method across several epochs with different learning rates. We perform experiments on VGG-19 and resnet (Resnet-18 and Resnet-34) models, and study the impact of amplification parameters on these models in detail. Our proposed approach improves performance of these deep learning models even at higher learning rates, thereby allowing these models to achieve higher performance with reduced training time.

研究の動機と目的

• トレーニング効率やモデル性能に悪影響を及げる深層ニューラルネットワークにおける勾配の消失問題に対処すること。
• 収束性や精度を損なわずに、高い学習率での有効なトレーニングを可能にすることで、トレーニング時間を短縮すること。
• エポックごとに勾配増幅と通常のバックプロパゲーションを交互に切り替える動的なトレーニング戦略を開発すること。
• VGG-19 や ResNet などの深層モデルで性能向上を最大化するための最適な層と増幅パラメータを特定すること。
• 勾配増幅が過学習を引き起こさずに、トレーニング性能および一般化性能を向上させることを示すこと。

提案手法

• 特定の層でバックプロパゲーション中に勾配を可学習スケーリング因子で乗算する勾配増幅メカニズムを導入する。
• 経験的性能分析に基づき、特にバッチ正則化（BN）層を含む特定の層に対して増幅を選択的に適用する。
• ハイブリッドトレーニング戦略を採用：勾配増幅ありエポックとなしエポックを交互に実行することで、学習の安定化と収束の向上を図る。
• 動的学習率スケジュールと増幅を組み合わせ、トレーニングを加速しながら高い精度を維持する。
• 層ごとのアブレーションを実施し、異なる種類の層（例：BN、ReLU、または両方）を増幅した際の影響を評価する。
• 5分割交差検証のトレーニング設定を採用し、早期停止と学習率の減衰を適用して、堅牢な評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 VGG-19 や ResNet などの深層ネットワークにおいて、モデルの複雑さを増さずに、勾配増幅がトレーニング速度とモデル精度を向上させられるか？
• RQ2 性能向上の観点から、BN や ReLU などのどの層が勾配増幅において最も効果的か？
• RQ3 増幅あり・なしエポックを交互に実行する代替的増幅戦略は、標準的なトレーニングと比較して収束性と精度においてどのように異なるか？
• RQ4 勾配増幅により、発散や過学習を引き起こさずに、高い学習率を効果的に使用できるか？
• RQ5 勾配増幅なしの最良の実行結果を上回る性能を、勾配増幅が達成できるか？

主な発見

• VGG-19 では最大2.27%、ResNet-18 では2.08%、ResNet-34 では1.67%のテスト精度向上が、元のモデルと比較して達成された。
• バッチ正則化（BN）層のみを増幅した場合に最も高い性能が得られ、BN と ReLU の両方を増幅する戦略を上回った。
• 固定学習率0.01で50エポック追加しても、元のモデルは勾配増幅モデルの精度に到達できなかった。
• 増幅モデルは、5回の独立した実行における元のモデルの平均値および最高値を上回る、より高いトレーニングおよびテスト精度を達成した。
• この手法により、高い学習率を効果的に使用でき、トレーニング時間を短縮しながら、モデル性能を維持または向上させた。
• 増幅あり・なしエポックを交互に実行するトレーニング戦略により、過学習が抑制され、一般化性能が向上した。