[論文レビュー] FQ-Conv: Fully Quantized Convolution for Efficient and Accurate Inference

Bram-Ernst Verhoef, Nathan Laubeuf+5 more|arXiv (Cornell University)|Dec 19, 2019

Advanced Neural Network Applications参考文献 33被引用数 16

ひとこと要約

本論文では、バッチ正規化（BN）や非線形関数の高精度版に依存せずに、すべての計算を低精度—三値重みと5ビット活性化—で行う完全に量子化された畳み込みネットワーク、FQ-Convを提案する。学習可能な量子化関数と段階的量子化トレーニングを用いることで、ImageNet、KWS、CIFAR-100の全データセットで、フル精度モデルと0.5%以内の精度を達成し、ハードウェアノイズに対しても頑健である。これはエッジおよびアナログアクセラレータに最適である。

ABSTRACT

Deep neural networks (DNNs) can be made hardware-efficient by reducing the numerical precision of the weights and activations of the network and by improving the network's resilience to noise. However, this gain in efficiency often comes at the cost of significantly reduced accuracy. In this paper, we present a novel approach to quantizing convolutional neural network. The resulting networks perform all computations in low-precision, without requiring higher-precision BN and nonlinearities, while still being highly accurate. To achieve this result, we employ a novel quantization technique that learns to optimally quantize the weights and activations of the network during training. Additionally, to enhance training convergence we use a new training technique, called gradual quantization. We leverage the nonlinear and normalizing behavior of our quantization function to effectively remove the higher-precision nonlinearities and BN from the network. The resulting convolutional layers are fully quantized to low precision, from input to output, ideal for neural network accelerators on the edge. We demonstrate the potential of this approach on different datasets and networks, showing that ternary-weight CNNs with low-precision in- and outputs perform virtually on par with their full-precision equivalents. Finally, we analyze the influence of noise on the weights, activations and convolution outputs (multiply-accumulate, MAC) and propose a strategy to improve network performance under noisy conditions.

研究の動機と目的

• 量子化CNNにおける高精度BNと非線形関数の排除により、ハードウェアの複雑さを低減すること。
• 重み、活性化、出力の完全な量子化により、エンドツーエンドの低精度推論を実現すること。
• 学習可能な量子化関数と段階的量子化トレーニングを用いて、低精度ネットワークの精度を向上させること。
• 特にアナログアクセラレータを想定した現実的なノイズ条件下での量子化ネットワークの頑健性を評価すること。
• 三値重みと低精度入出力を持つCNNが、提案手法で訓練された場合、フル精度モデルと同等の精度に達成できることを示すこと。

提案手法

• トレーニング中に重みと活性化の量子化レベルを最適化する学習可能な量子化関数を提案し、統計的分布に依存しない。
• 収束の安定化と精度向上を目的とした、段階的に量子化を適用するトレーニングスケジュールを導入。
• 量子化関数の非線形性および正規化特性を活用し、BNと高精度非線形関数の必要性を排除。
• 微分可能な量子化関数を採用し、量子化演算を経由したバックプロパゲーションを可能にし、量子化レベルと重みの共同最適化を実現。
• アナログアクセラレータにおけるハードウェアノイズ耐性を向上させるために、トレーニング中にノイズを注入する戦略を採用。
• ImageNet、KWS、CIFAR-100の標準CNNに、三値重みと5ビット活性化を用いて、全段階で本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 三値重みと低精度活性化を用いた完全に量子化されたCNNは、フル精度モデルに近い精度を達成できるか？
• RQ2 学習可能な量子化により、低精度ネットワークにおける高精度BNと非線形関数の必要性を排除できるか？
• RQ3 段階的量子化トレーニングは、完全に量子化されたネットワークにおける収束性と精度を向上させるか？
• RQ4 特にアナログアクセラレータ環境下で、重み、活性化、MAC出力のノイズに対して完全に量子化されたネットワークはどれほど頑健か？
• RQ5 提案手法は、異なるデータセットおよびネットワークアーキテクチャに一般化可能か？

主な発見

• 三値重みと5ビット活性化を用い、高精度BNや非線形関数を一切使用しないCNNは、ImageNetでトップ1精度94.32%を達成し、フル精度ベースラインと0.5%以内の差に留めた。
• Google Speech Commandsデータセットでは、完全に量子化されたネットワークが94.3%の精度を達成し、フル精度モデルと同等であった。
• CIFAR-100では、完全に量子化されたネットワークが76.8%の精度に達し、フル精度モデルの77.1%にほぼ等しかった。
• ノイズを含んだトレーニングにより耐性が向上：20%ノイズ（σ）条件下で、ノイズを含んだトレーニングではテスト精度が73.8%から75.4%に上昇したのに対し、ノイズなしでは65.1%にとどまった。
• 30%ノイズ条件下でも、ノイズを含んだトレーニングによりKWSで87.7%、CIFAR-100で69.2%の精度を維持し、強い耐性を示した。
• 提案手法により、精度損失のない完全な量子化推論が可能となり、エネルギー効率の高いエッジおよびアナログアクセラレータに最適である。