[論文レビュー] Convolutional Neural Network Quantization using Generalized Gamma Distribution

Doyun Kim, Han Young Yim+3 more|arXiv (Cornell University)|Oct 31, 2018

Advanced Neural Network Applications参考文献 17被引用数 4

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）のための新しい量子化手法を提案する。この手法は、特徴マップの活性化を一般化ガンマ分布（GGD）でモデル化し、信号対量子化ノイズ比（SQNR）を最大化するための最適な量子化ステップサイズを最適化する。重みとバイアスはそれぞれ分数長選択により別々に最適化され、さらに精度を向上させるためにバックワードフォワードチューニング（BFT）手順が適用され、GoogLeNet、AlexNet、VGG-16などのモデルで、低精度推論において浮動小数点に近い性能を達成する。

ABSTRACT

As edge applications using convolutional neural networks (CNN) models grow, it is becoming necessary to introduce dedicated hardware accelerators in which network parameters and feature-map data are represented with limited precision. In this paper we propose a novel quantization algorithm for energy-efficient deployment of the hardware accelerators. For weights and biases, the optimal bit length of the fractional part is determined so that the quantization error is minimized over their distribution. For feature-map data, meanwhile, their sample distribution is well approximated with the generalized gamma distribution (GGD), and accordingly the optimal quantization step size can be obtained through the asymptotical closed form solution of GGD. The proposed quantization algorithm has a higher signal-to-quantization-noise ratio (SQNR) than other quantization schemes previously proposed for CNNs, and even can be more improved by tuning the quantization parameters, resulting in efficient implementation of the hardware accelerators for CNNs in terms of power consumption and memory bandwidth.

研究の動機と目的

• エッジデバイスの限られた電力とメモリ帯域幅を考慮した低精度CNNのデプロイの課題に対処すること。
• 再トレーニングを必要とせずに、重み、バイアス、特徴マップにおける量子化誤差を最小化すること。
• SQNRを最大化しながら高い推論精度を維持する、ハードウェアにやさしい量子化スキームを開発すること。
• 最適なビット幅割り当てと量子化パラメータチューニングを通じて、CNNアクセラレータの効率的なデプロイを可能にすること。

提案手法

• 特徴マップの分布をCNNの各層で一般化ガンマ分布（GGD）でモデル化し、最適な量子化ステップサイズの漸近的閉形式導出を可能にする。
• 重みとバイアスの分数長を最適化するために、その経験的分布上での平均二乗量子化誤差を最小化する。
• 量子化後に行われるバックワードフォワードチューニング（BFT）アルゴリズムを適用し、再トレーニングなしで精度を向上させる。
• 二段階のプロセスを採用：第一に、重みと特徴マップのSQNR最大化のための量子化；第二に、実際のネットワーク性能に合わせて量子化パラメータを調整するBFT。
• 各層の重みと活性化分布の統計的特性に合わせた非一様量子化戦略を採用する。
• 混合精度量子化をサポートし、重みと特徴マップに異なるビット幅（例：w8/fm4）を適用可能にすることで、精度とリソース使用量のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般化ガンマ分布（GGD）は、CNNの各層における特徴マップ活性化の統計的分布を正確にモデル化できるか？
• RQ2 GGDに基づく量子化は、CNNの特徴マップに対して、一様または他の分布ベースの量子化方式よりも高いSQNRを達成できるか？
• RQ3 バックワードフォワードチューニング（BFT）は、再トレーニングなしで量子化後に推論精度を効果的に向上させることができるか？
• RQ4 本手法は、低ビット幅における精度とエネルギー効率の観点から、先行する量子化方式と比較して優れているか？

主な発見

• 8ビット重みと4ビット特徴マップを用いたGoogLeNetでは、68.6%のTop-1精度を達成し、浮動小数点から4.4%の低下にとどまる。
• 6ビット重みと6ビット特徴マップを用いた場合、GoogLeNetで66.7%のTop-1精度を達成し、低ビット幅でも優れた性能を示す。
• AlexNetでは、8ビット重みと4ビット特徴マップを用いて56.2%のTop-1精度を達成し、浮動小数点性能から0.6%以内の差にとどまる。
• VGG-16では、8ビット重みと4ビット特徴マップを用いて68.3%のTop-1精度を達成し、浮動小数点ベースラインと一致する。
• BFTチューニングステップにより、ベースライン量子化から最大1.9%の精度向上が達成され、SQNRと精度のギャップを埋める有効性が示された。
• 6ビットおよび8ビット精度において、RistrettoおよびQNNよりも精度損失が少なく、8ビット重みと4ビット特徴マップではわずか0.3%の損失にとどまる。