[論文レビュー] Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations

Liangzhen Lai, Naveen Suda+1 more|arXiv (Cornell University)|Mar 8, 2017

Advanced Neural Network Applications参考文献 20被引用数 84

ひとこと要約

この論文は、CNN推論のために浮動小数点ウェイトと固定小数点活性化を使用して、ウェイト格納量とハードウェア乗算器の電力を削減することを提案し、AlexNet、SqueezeNet、GoogLeNet、VGG-16で実証的な結果を示します。

ABSTRACT

Deep convolutional neural network (CNN) inference requires significant amount of memory and computation, which limits its deployment on embedded devices. To alleviate these problems to some extent, prior research utilize low precision fixed-point numbers to represent the CNN weights and activations. However, the minimum required data precision of fixed-point weights varies across different networks and also across different layers of the same network. In this work, we propose using floating-point numbers for representing the weights and fixed-point numbers for representing the activations. We show that using floating-point representation for weights is more efficient than fixed-point representation for the same bit-width and demonstrate it on popular large-scale CNNs such as AlexNet, SqueezeNet, GoogLeNet and VGG-16. We also show that such a representation scheme enables compact hardware multiply-and-accumulate (MAC) unit design. Experimental results show that the proposed scheme reduces the weight storage by up to 36% and power consumption of the hardware multiplier by up to 50%.

研究の動機と目的

• 埋め込みデバイスでのCNN推論のメモリと計算量の削減を動機づける。
• 効率性のための混合数表示スキーム（浮動小数点ウェイト、固定小数点活性化）の調査。
• 代表的なCNNにおける固定小数点と浮動小数点ウェイトのレンジ/精度のトレードオフを示す。
• 提案スキームのハードウェア影響および潜在的な領域/電力利得を示す。

提案手法

• Caffeベースのパイプライン内で、事前学習済みCNNウェイトを浮動小数点に、活性化を固定小数点に量子化する。
• 異なるウェイト表現下でAlexNet、SqueezeNet、GoogLeNet、VGG-16のネットワーク精度を評価する。
• 推論精度決定における表現レンジと精度の役割を分析する。
• MAC演算で1つの浮動小数点と1つの固定小数点演算数を使用する、ハードウェアに優しいデータパスを提案する。

実験結果

リサーチクエスチョン

• RQ1 CNNウェイトを浮動小数点、活性化を固定小数点で表現することが、主要アーキテクチャ全体の推論精度にどう影響するか？
• RQ2 低精度ウェイト使用時の精度低下において表現レンジが支配的要因か、浮動小数点ウェイトはネットワーク間でより一貫したレンジを提供できるか？
• RQ3 CNN推論のための混合浮動小数点/固定小数点MACユニットの潜在的なハードウェア領域と電力利得は何か？
• RQ4 研究対象のネットワーク全体で、固定小数点活性化が固定小数点ウェイトと同等の精度を達成しつつ、効率的なハードウェア実装を可能にするか？

主な発見

• 同じビット幅で、複数のネットワークにおいて浮動小数点で表現されたウェイトは、固定小数点と同等またはより良いレンジ/精度のトレードオフを達成できる。
• 提案スキームは、ハードウェア実装でウェイト格納を最大36%、乗算器電力を最大50%削減する。
• 浮動小数点ウェイトと固定小数点活性化は、ハードウェアに優しい乗算 accumulator パスを提供する。
• 妥当な指数を持つ浮動小数点ウェイト（例：4ビット）は、いくつかのネットワークでほぼ完全な精度を達成できる一方、固定小数点ウェイトのレンジは同等の精度を得るにはより多くのビットを必要とする。
• 多くのケースで、精度の挙動は有効桁数の精度よりも表現レンジ（指数）により強く結びついている。