[論文レビュー] Adaptive Loss Scaling for Mixed Precision Training

Rongxuan Zhao, Brian Vogel+1 more|arXiv (Cornell University)|Oct 28, 2019

Model Reduction and Neural Networks参考文献 19被引用数 6

ひとこと要約

本稿では、混合精度学習中の勾配アンダーフローを防止するために、手動のハイパーパramータチューニングを伴わずに、動的にレイヤーごとの損失スケーリング値を計算するアプローチ、すなわちアダプティブロススケーリングを提案する。勾配統計に基づいて各レイヤーごとにスケールを自動的に調整することで、固定スケーリングや場合によってはFP32学習でさえも上回る、より高速な収束と高い精度を達成する。特に深層モデルや大バッチ学習において顕著な効果を示す。

ABSTRACT

Mixed precision training (MPT) is becoming a practical technique to improve the speed and energy efficiency of training deep neural networks by leveraging the fast hardware support for IEEE half-precision floating point that is available in existing GPUs. MPT is typically used in combination with a technique called loss scaling, that works by scaling up the loss value up before the start of backpropagation in order to minimize the impact of numerical underflow on training. Unfortunately, existing methods make this loss scale value a hyperparameter that needs to be tuned per-model, and a single scale cannot be adapted to different layers at different training stages. We introduce a loss scaling-based training method called adaptive loss scaling that makes MPT easier and more practical to use, by removing the need to tune a model-specific loss scale hyperparameter. We achieve this by introducing layer-wise loss scale values which are automatically computed during training to deal with underflow more effectively than existing methods. We present experimental results on a variety of networks and tasks that show our approach can shorten the time to convergence and improve accuracy compared to the existing state-of-the-art MPT and single-precision floating point

研究の動機と目的

• FP16での勾配アンダーフローによって引き起こされる混合精度学習の不安定性と収束不良を解消すること。
• モデルや学習段階に跨って固定された損失スケールの手動ハイパーパramータチューニングの必要性を排除すること。
• 損失スケーリングをレイヤーごと・イテレーションごとに適応させることで、混合精度学習の使いやすさと信頼性を向上させること。
• 精度と収束速度の観点から、フルプレシジョン（FP32）学習と同等またはそれ以上の訓練パフォーマンスを達成すること。
• 固定スケールのハイパーパramータ探索に要する複数回の訓練ランを回避することで、総合的な訓練時間を短縮すること。

提案手法

• 本手法は、活性化勾配の分布に基づいて、訓練中に動的に計算されるレイヤーごとの損失スケーリング値を導入する。
• 各レイヤーにおいて、損失スケールは、Nが勾配サイズであるとき、絶対値勾配値の上位（0.01N）番目の最小値の逆数として計算される。これにより、アンダーフローの確率は最大1%に制限される。
• 勾配統計の変化に適応するため、損失スケールは定期的に（例：100イテレーションごと）更新される。
• 重み更新およびバッチ正規化にはFP32を使用し、活性化および勾配はFP16に保持することで、計算効率を維持する。
• 勾配の大きさ統計に基づいて安全な範囲内に損失スケールを保つことで、オーバーフローおよび過剰な丸め誤差を回避する。
• アーキテクチャの変更を要せず、既存のディープラーニングフレームワークにシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 動的でレイヤー特異的な損失スケーリングは、固定損失スケーリングと比較して、混合精度学習の安定性と収束性を向上させることができるか？
• RQ2 アダプティブロススケーリングは、異なるモデルやデータセットにおいて、手動ハイパーパramータチューニングの必要性を低減できるか？
• RQ3 アダプティブロススケーリングは、固定損失スケーリングおよびフルプレシジョン（FP32）学習を上回るモデルの精度を達成できるか？
• RQ4 アダプティブロススケーリングは、複数回のハイパーパramータ探索と比較して、訓練速度および総合的な訓練時間にどのような影響を与えるか？
• RQ5 アダプティブロススケーリングは、異なるレイヤーおよび訓練イテレーションにおいて、勾配アンダーフローをどの程度軽減できるか？

主な発見

• バッチサイズ32のSSD512において、アダプティブロススケーリングはmAP 80.31%を達成し、FP32ベースライン（79.50%）および固定損失スケーリング（80.17%）を上回った。
• ResNet-50では、アダプティブロススケーリングが79.24%のテスト精度を達成し、最良の固定スケール（79.11%）を上回り、固定スケール128で見られた精度低下を回避した。
• 図4(b)に示すように、特に深いレイヤーにおいて、スケールをレイヤーごとに適応させることでアンダーフロー率が顕著に低減された。
• アダプティブスケーリング下での勾配の最大標準偏差は、固定スケーリング下と比較して約20倍低く抑えられ、誤差の蓄積が軽減され、安定性が向上した。
• 100イテレーションごとの更新頻度を採用した場合、損失スケール計算のオーバーヘッドは総合訓練時間のわずか0.27%にまで低下し、効率的であった。
• 本手法により、損失スケールのチューニングに必要な複数回の訓練ランを回避でき、固定スケーリングに伴うハイパーパramータ探索を伴う場合と比較して、総合的な訓練時間を短縮した。