[論文レビュー] Towards Lower Bit Multiplication for Convolutional Neural Network Training.

Kai Zhong, Tianchen Zhao+5 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 14被引用数 7

ひとこと要約

本論文は、CIFAR-10では畳み込み乗算のビット幅を2ビット、ImageNetでは6ビットにまで低減する固定小数点学習フレームワークを提案する。精度の損失は最小限に抑えられ、制約付きグループ別スケーリング、オーバーフローと丸め誤差のバランスを取るシフト可能な固定小数点形式、および二重幅デプロイメント技術を用いることで、学習におけるエネルギー消費を少なくとも75%削減する。

ABSTRACT

Convolutional Neural Networks (CNNs) have been widely used in many fields. However, the training process costs much energy and time, in which the convolution operations consume the major part. In this paper, we propose a fixed-point training framework, in order to reduce the data bit-width for the convolution multiplications. Firstly, we propose two constrained group-wise scaling methods that can be implemented with low hardware cost. Secondly, to overcome the challenge of trading off overflow and rounding error, a shiftable fixed-point data format is used in this framework. Finally, we propose a double-width deployment technique to boost inference performance with the same bit-width hardware multiplier. The experimental results show that the input data of convolution in the training process can be quantized to 2-bit for CIFAR-10 dataset, 6-bit for ImageNet dataset, with negligible accuracy degradation. Furthermore, our fixed-point train-ing framework has the potential to save at least 75% energy of the computation in the training process.

研究の動機と目的

• 畳み込みニューラルネットワークの学習中に、入力データのビット幅を短縮することでエネルギー効率を向上させること。
• 低ビット固定小数点表現におけるオーバーフローと量子化丸め誤差のトレードオフを解消すること。
• 既存の低ビット幅乗算器と互換性がある、ハードウェア効率の良い固定小数点学習フレームワークを設計すること。
• 同じビット幅ハードウェアを用いて、推論性能を高めるための二重幅デプロイメント技術を活用すること。

提案手法

• 固定小数点学習における低コストなハードウェア実装を実現する2種類の制約付きグループ別スケーリング手法を導入する。
• オーバーフローと丸め誤差のトレードオフを動的に管理するために、シフト可能な固定小数点データ形式を採用する。
• ハードウェアのビット幅要件を増加させることなく、推論速度を向上させるための二重幅デプロイメント技術を適用する。
• CIFAR-10には2ビット、ImageNetには6ビットの入力に対して、量子化感知学習を用いることでモデルの精度を維持する。
• 標準的な低ビット幅乗算器と互換性を持つようにフレームワークを設計し、効率的なハードウェアデプロイメントを可能にする。
• 極めて低いビット幅制約下でも精度の劣化を最小限に抑えるために、学習プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10における畳み込みニューラルネットワークの学習を、2ビットの入力精度で行うことは可能であり、顕著な精度損失なしに行えるか？
• RQ2 超高ビット幅の固定小数点表現において、オーバーフローと量子化誤差を効果的にバランスさせることは可能か？
• RQ3 実世界のデプロイメントに適した、ハードウェア効率の良い固定小数点学習スケーリング手法として何が利用可能か？
• RQ4 同じビット幅ハードウェア制約下で、二重幅デプロイメント技術が推論性能を向上させることは可能か？
• RQ5 ビット幅の低減と固定小数点最適化を通じて、CNN学習におけるエネルギー消費をどの程度削減できるか？

主な発見

• フレームワークにより、CIFAR-10における2ビット入力量子化が、精度の著しい低下なしに実現可能である。
• ImageNetでは、6ビットの入力精度が、最小限の精度損失で学習に十分である。
• シフト可能な固定小数点形式は、オーバーフローと丸め誤差のトレードオフを効果的に緩和する。
• 二重幅デプロイメント技術により、より広い乗算器を必要とせずに推論性能が向上する。
• 提案されたフレームワークにより、CNN学習計算におけるエネルギー消費を少なくとも75%削減できる。