[論文レビュー] Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers

Xishan Zhang, Shaoli Liu+9 more|arXiv (Cornell University)|Nov 1, 2019

Advanced Neural Network Applications参考文献 35被引用数 5

ひとこと要約

本稿では、固定小数点演算を用いてバックプロパゲーションを量子化する、適応的精度学習を提案する。各層ごとに勾配の感度と活性化統計に基づき動的にビット幅を調整することで、精度と効率のバランスを図る。全精度学習と比較して、最大4.5倍の高速化と3.5倍のメモリ削減を達成し、ほぼ最適なモデル精度を実現する。

ABSTRACT

Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers. Recent emerged quantization technique has been applied to inference of deep neural networks for fast and efficient execution. However, directly applying quantization in training can cause significant accuracy loss, thus remaining an open challenge.

研究の動機と目的

• 通常、顕著な精度低下を引き起こすため、深層ニューラルネットワーク学習への量子化の適用という課題に対処すること。
• 推論のみに焦点を当てた従来の量子化手法の限界を乗り越え、バックプロパゲーション段階での量子化を可能にすること。
• 学習中の計算コストとメモリコストを低減しつつ、高いモデル精度を維持する手法を開発すること。
• モデル性能を損なわず、固定小数点算術を用いた深層ニューラルネットワークの効率的学習を可能にすること。

提案手法

• 勾配の感度と活性化統計に基づき、層ごとに異なる精度レベルを動的に割り当てるビット幅動的割り当て戦略を導入する。
• 固定小数点算術を用いてバックプロパゲーション処理を量子化し、浮動小数点演算を整数演算に置き換えることで、効率性を向上させる。
• 低精度計算下での学習安定化のため、勾配クリッピングとスケーリング技術を適用する。
• バックプロパゲーション中に量子化操作を通過する勾配が流れるように可能な微分可能量子化関数を採用する。
• 量子化されたバックプロパゲーションを標準的な最適化パイプラインに統合し、最小限のアーキテクチャ変更でエンドツーエンド学習を可能にする。
• 勾配分散とモデル精度をモニタリングする損失に配慮した適応的メカニズムを用いて、学習中の精度スケジュールを最適化する。

実験結果

リサーチクエスチョン

• RQ1 固定小数点算術を用いて深層ニューラルネットワークのバックプロパゲーションを、顕著な精度損失なしに効果的に量子化できるか？
• RQ2 層ごとの動的ビット幅割り当てが、モデル精度と学習効率に与える影響は何か？
• RQ3 エンドツーエンド学習において、精度の低減とモデル性能のトレードオフはどのようなものか？
• RQ4 提案手法は、全精度学習と同等の精度を達成しつつ、メモリと計算コストを低減できるか？

主な発見

• 8ビット固定小数点算術を用いてResNet-50をImageNetで学習した場合、全精度学習と比較して0.5%以内の精度で収束した。
• GPUプラットフォーム上では、算術複雑性とメモリ帯域幅の削減により、最大4.5倍の高速化が達成された。
• 勾配と活性化の量子化により、全精度学習と比較して最大3.5倍のメモリ消費量削減が実現された。
• 複数のモデルとデータセットにおいて、静的量子化や均一ビット幅アプローチに比べ、適応的精度戦略が優れた性能を示した。
• 複数回の学習ランで安定した収束を示し、量子化ノイズに対して耐性があることが示された。
• スケーリングとクリッピングを施した勾配量子化により、重み更新の方向性と大きさが保持され、最適化のずれが最小限に抑えられた。