[論文レビュー] Deep Learning with Low Precision by Half-wave Gaussian Quantization

Zhaowei Cai, Xiaodong He+2 more|arXiv (Cornell University)|Feb 3, 2017

Advanced Image and Video Retrieval Techniques参考文献 49被引用数 66

ひとこと要約

本論文は、前向き活性化の量子化と適切な逆伝搬近似のための Half-wave Gaussian Quantizer (HWGQ) を導入し、1ビット重みと2ビット活性化を可能にする HWGQ-Net が、複数のアーキテクチャにおいてフル精度ネットワークとほぼ一致する性能を達成する。

ABSTRACT

The problem of quantizing the activations of a deep neural network is considered. An examination of the popular binary quantization approach shows that this consists of approximating a classical non-linearity, the hyperbolic tangent, by two functions: a piecewise constant sign function, which is used in feedforward network computations, and a piecewise linear hard tanh function, used in the backpropagation step during network learning. The problem of approximating the ReLU non-linearity, widely used in the recent deep learning literature, is then considered. An half-wave Gaussian quantizer (HWGQ) is proposed for forward approximation and shown to have efficient implementation, by exploiting the statistics of of network activations and batch normalization operations commonly used in the literature. To overcome the problem of gradient mismatch, due to the use of different forward and backward approximations, several piece-wise backward approximators are then investigated. The implementation of the resulting quantized network, denoted as HWGQ-Net, is shown to achieve much closer performance to full precision networks, such as AlexNet, ResNet, GoogLeNet and VGG-Net, than previously available low-precision networks, with 1-bit binary weights and 2-bit quantized activations.

研究の動機と目的

• 効率的な深層ネットワークのための活性化量子化を動機づけ、微分不能な量子化器を用いた学習時の勾配ミスマッチに対処する。
• 活性化の統計とバッチ正規化を活用して効率的に活性化を量子化する前向き HWGQ を提案する。
• 低精度制約下で学習を安定化させる対応する逆伝搬近似を開発する。
• 大規模データセットと一般的なアーキテクチャ上で HWGQ-Net を評価し、顕著な効率化を伴う競争力のある精度を示す。

提案手法

• ReLU 活性化を離散化するため、前向きの半波 Gaussian 量子化器 HWGQ で活性化をモデル化する。
• 活性化分布を安定化させるためにバッチ正規化を用い、層を跨ぐ単一の HWGQ 設計を可能にする。
• 逆伝搬時の勾配ミスマッチを緩和するため、単純な ReLU、クリップ付き ReLU、対数尾部 ReLU などの区分的逆伝搬近似器を用いる。
• 前向き HWGQ をバイナリ符号量子化と比較し、逆伝搬近似器が学習の安定性に与える影響を分析する。
• ImageNet 上で AlexNet、ResNet、VGG-Variant、GoogLeNet に渡って、1-bit 重みと 2-bit 活性化を持つ HWGQ-Net を評価する。

実験結果

リサーチクエスチョン

• RQ1 HWGQ は、フル精度ネットワークと比較して最小限の精度低下で効率的な前向き活性化量子化を提供できるか？
• RQ2 前向き量子化と逆伝搬近似の勾配ミスマッチは学習にどのように影響するか、そして設計された逆伝搬関数は学習を安定化させるか？
• RQ3 活性化量子化のビット幅と前向き/逆伝搬設計が、主流アーキテクチャ（AlexNet、ResNet、VGG、GoogLeNet）および大規模データセットに与える影響は？
• RQ4 1-bit 重みと低ビット活性化（HWGQ-Net）により、複数のアーキテクチャで実用的な精度が、フル精度モデルに近づくか？

主な発見

• 1-bit 重みと 2-bit 活性化を持つ HWGQ-Net は、AlexNet、ResNet、VGG-Variant、GoogLeNet 全体で、従来の低精度モデルよりもフル精度ネットワークにはるかに近い性能を達成する。
• 前向き HWGQ は、活性化の統計量（バッチ正規化後は近似正規分布）を利用して量子化パラメータを固定し、レイヤ間で単一の量子化器設計を可能にする。
• 逆伝搬近似器としてのクリップ付き ReLU および対数尾部 ReLU は、逆伝搬経路において vanilla ReLU と比較して訓練の安定性と最終精度を著しく改善する。
• 従来の低精度手法と比較して、HWGQ-Net はトップ1/トップ5 の精度で競争力を示しつつ、メモリと計算の大幅な節約を提供する（本論文は HWGQ-Net のメモリ約32倍、畳み込み計算約32倍の節約を示している）。
• HWGQ を用いた均一量子化と非均一量子化は、同じビット幅で同等の性能を示し、活性化量子化レベルを増やすことは、いくつかのネットワーク（例: AlexNet）では収益は小さく、より深いアーキテクチャ（例: ResNet-18）ではより大きな利得を生む。