[論文レビュー] Deep Learning with Limited Numerical Precision

Suyog Gupta, Ankur Agrawal+2 more|arXiv (Cornell University)|Feb 9, 2015

Numerical Methods and Algorithms参考文献 15被引用数 1,075

ひとこと要約

本稿では、確率的丸めを用いることで、16ビット固定小数点演算のみで深層ニューラルネットワークを訓練でき、32ビット浮動小数点学習とほぼ同一の分類精度が達成されることを示している。主な貢献は、深層学習のノイズ耐性と確率的丸めを活用して精度損失を緩和することで、低コストのFPGAアクセラレータを用いたハイパフォーマンスでエネルギー効率の良い学習を実現する、ハードウェア・ソフトウェア共同最適化アプローチである。

ABSTRACT

Training of large-scale deep neural networks is often constrained by the available computational resources. We study the effect of limited precision data representation and computation on neural network training. Within the context of low-precision fixed-point computations, we observe the rounding scheme to play a crucial role in determining the network's behavior during training. Our results show that deep networks can be trained using only 16-bit wide fixed-point number representation when using stochastic rounding, and incur little to no degradation in the classification accuracy. We also demonstrate an energy-efficient hardware accelerator that implements low-precision fixed-point arithmetic with stochastic rounding.

研究の動機と目的

• 深層ニューラルネットワークが顕著な精度低下を伴わずに、低精度の固定小数点算術のみで訓練可能かどうかを調査すること。
• 特に確率的丸めを含む、さまざまな丸め方式が低精度環境下でのネットワーク学習に与える影響を評価すること。
• 最小限の面積と消費電力オーバーヘッドで、低精度固定小数点算術をサポートするハードウェアアクセラレータの設計とプロトタイピングを行うこと。
• アルゴリズムのノイズ耐性と低レベルのハードウェア近似を共同最適化することで、エネルギー効率が高くスループットの高い深層学習学習を実現すること。

提案手法

• 著者らは、深層ニューラルネットワーク学習における重み、活性化、勾配に16ビット固定小数点表現を用いる。
• 算術演算の過程で確率的丸めを適用し、系統的なバイアスを低減し、収束性を向上させる。
• FPGA上に波面サッカリア配列アーキテクチャを実装し、高スループットな行列乗算を実現する。
• 確率的丸めは、出力ごとに1つのDSPユニットを用い、LFSRを用いて乱数を生成することで実装する。
• オーバーフローとアンダーフローは、上位ビットにパターン検出を適用し、必要に応じてサチュエート処理を行う。
• 遅延を最小限に抑えて動作周波数を最大化するために、コンactでパイプライン化されたデータフローと局所的インターコネクトを採用する。

実験結果

リサーチクエスチョン

• RQ1 16ビット固定小数点算術のみで、深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 丸めモードの選択、特に確率的丸めと従来の丸めとの違いが、学習の安定性と精度に与える影響は何か？
• RQ3 深層学習用の固定小数点アクセラレータに確率的丸めを統合する際のハードウェアオーバーヘッドはどの程度か？
• RQ4 低精度固定小数点アクセラレータは、一般用途プロセッサーやGPUと比較して、競争力のあるスループットとエネルギー効率を達成できるか？

主な発見

• MNISTおよびCIFAR10において、16ビット固定小数点算術と確率的丸めを用いた深層ネットワークは、32ビット浮動小数点学習とほぼ同一の分類精度を達成した。
• FPGAベースのアクセラレータは7Wの消費電力で260 G-ops/sのスループットを達成し、エネルギー効率は37 G-ops/s/Wに達した。
• 確率的丸めモジュールはアクセラレータに僅か28個のDSPユニット（全DSPリソースの4％未満）を追加するにとどまり、極めて低いハードウェアオーバーヘッドを実現した。
• 波面サッカリア配列アーキテクチャにより、前回の演算が完了する前にMACユニットをパイプラインで再利用できるため、高スループットを実現した。
• Kintex-325T FPGA上で166 MHzで動作し、一般用途CPUやGPUと比較してエネルギー効率が10〜30倍優れていた。
• 結果から、低精度学習において確率的丸めが不可欠であることが確認された。従来の丸め方式では顕著な性能劣化が生じた。