[論文レビュー] Computation Error Analysis of Block Floating Point Arithmetic Oriented Convolution Neural Network Accelerator Design

Zhourui Song, Zhenyu Liu+1 more|arXiv (Cornell University)|Sep 22, 2017

Advanced Memory and Neural Computing参考文献 21被引用数 6

ひとこと要約

本論文は、従来の浮動小数点演算を効率的な固定小数点計算に置き換えることで、再訓練を伴わずにVGG16、ResNet-18、ResNet-50、GoogLeNetで0.3%未満の精度損失を達成するブロック浮動小数点（BFP）算術に基づくCNNアクセラレータを提案する。有限の精度制約下での精度を検証するための理論的ノイズ対信号比（NSR）の上限モデルを導入し、ハードウェア設計を支援する。

ABSTRACT

The heavy burdens of computation and off-chip traffic impede deploying the large scale convolution neural network on embedded platforms. As CNN is attributed to the strong endurance to computation errors, employing block floating point (BFP) arithmetics in CNN accelerators could save the hardware cost and data traffics efficiently, while maintaining the classification accuracy. In this paper, we verify the effects of word width definitions in BFP to the CNN performance without retraining. Several typical CNN models, including VGG16, ResNet-18, ResNet-50 and GoogLeNet, were tested in this paper. Experiments revealed that 8-bit mantissa, including sign bit, in BFP representation merely induced less than 0.3% accuracy loss. In addition, we investigate the computational errors in theory and develop the noise-to-signal ratio (NSR) upper bound, which provides the promising guidance for BFP based CNN engine design.

研究の動機と目的

• 組み込みプラットフォーム向けのCNNアクセラレータにおける計算およびメモリのオーバーヘッドを低減すること。
• 再訓練を伴わず、ブロック浮動小数点（BFP）算術を用いて大規模なCNNの効率的ハードウェア実装を可能にすること。
• 有限精度BFP算術がCNNに導入する計算誤差を分析およびモデル化すること。
• BFPベースのCNNアクセラレータの設計を支援する理論的NSR上限モデルを提供すること。
• BFP表現の精度および効率が複数の深層CNNアーキテクチャにわたって有効であることを検証すること。

提案手法

• ブロック内の数値が共通の指数を共有するブロック浮動小数点（BFP）表現を採用し、計算複雑性を低減する。
• 仮数部に8ビット（符号ビットを含む）を用いたBFP形式を採用し、活性化関数および重みを表現することで、ハードウェアコストおよびデータ転送量を最小限に抑える。
• 有限精度BFP算術に起因する計算誤差を定量化および上限付ける理論的ノイズ対信号比（NSR）上限モデルを構築する。
• 完全精度浮動小数点を基準として、VGG16、ResNet-18、ResNet-50、GoogLeNet、MNIST、CIFAR-10に対して実験的評価を実施する。
• 各層におけるBFP出力と完全精度浮動小数点出力の比較により、実験的SNRを測定し、理論的NSRモデルの妥当性を検証する。
• ReLUおよびプーリング層がSNRに与える影響を評価し、ReLUがSNRを低下させず、プーリングが信号エネルギー分布を保持することを確認する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、大規模なCNNに8ビット仮数部を用いたBFP表現を適用した場合、最大でどの程度の精度損失が生じるか？
• RQ2 理論的NSR上限モデルは、BFPベースのCNN推論における実際の信号対ノイズ比をどの程度正確に予測できるか？
• RQ3 ReLUおよびプーリング層はBFP算術におけるSNRにどの程度の影響を及ぼすか。また、その影響は理論的仮定と整合的か？
• RQ4 BFP表現は、VGG16、ResNet、GoogLeNetのような多様なCNNアーキテクチャにおいて、最小限のハードウェアオーバーヘッドで高い精度を維持できるか？
• RQ5 特徴マップのエネルギー分布は、特に初期層においてBFP算術におけるSNRにどのように影響を与えるか？

主な発見

• 再訓練を伴わず、BFP表現における8ビット仮数部を用いることで、VGG16、ResNet-18、ResNet-50、GoogLeNetで0.3%未満の精度損失が達成された。
• 理論的NSR上限モデルは、実験結果から最大で8.9 dB以内のずれを示し、ハードウェア設計に適した高い精度を有することが検証された。
• ReLU層はSNRを維持しており、出力分布がBFP量子化下でも対称的かつ良好に保持されていることが示された。
• プーリング層は、モデルで想定されたまま信号エネルギー分布を維持しており、理論的SNR解析の堅牢性が確認された。
• 層別エネルギー分布解析から、層'conv1_2'が高振幅にエネルギーが集中していることが判明し、量子化に強く依存する相関性が強いことが示された。
• 提案されたBFPベースのアクセラレータは、浮動小数点演算を固定小数点演算に置き換えることで、ハードウェア複雑性とオフチップデータトラフィックを顕著に低減した。