[論文レビュー] LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks

Dongqing Zhang, Jiaolong Yang+2 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Neural Network Applications参考文献 4被引用数 45

ひとこと要約

この論文は、ウェイトと活性化を量子化するためにネットワークと共同で訓練される学習可能な量子化器を提案し、CIFAR-10とImageNetにおける低ビットDNNで最先端の精度を達成する。ビット演算に適した任意ビット量子化を可能にする。

ABSTRACT

Although weight and activation quantization is an effective approach for Deep Neural Network (DNN) compression and has a lot of potentials to increase inference speed leveraging bit-operations, there is still a noticeable gap in terms of prediction accuracy between the quantized model and the full-precision model. To address this gap, we propose to jointly train a quantized, bit-operation-compatible DNN and its associated quantizers, as opposed to using fixed, handcrafted quantization schemes such as uniform or logarithmic quantization. Our method for learning the quantizers applies to both network weights and activations with arbitrary-bit precision, and our quantizers are easy to train. The comprehensive experiments on CIFAR-10 and ImageNet datasets show that our method works consistently well for various network structures such as AlexNet, VGG-Net, GoogLeNet, ResNet, and DenseNet, surpassing previous quantization methods in terms of accuracy by an appreciable margin. Code available at https://github.com/Microsoft/LQ-Nets

研究の動機と目的

• 精度の損失を最小化しつつ、ウェイトと活性化を量子化することでDNNモデルのサイズと計算量を削減する動機付け。
• 推論の高速性を保つため、ビット演算と互換性のある学習可能な量子化器を提案する。
• 任意のビット幅で層ごと/チャンネルごとの量子化を可能にし、量子化器をネットワークパラメータと共同で訓練する。
• 複数のアーキテクチャとデータセットで、従来の量子化法より精度が向上することを示す。

提案手法

• x が量子化区間にあるとき、Kビットレベルを encoding する e_l を用い、x, v に対して Qours(x, v) = v^T e_l の学習可能な量子化器を導入する。
• 量子化レベルは、学習済みの基底 v ∈ R^K と Kビットのエンコーディング e_l ∈ {−1,1}^K によって生成され、ビット演算に互換な量子化を可能にする。
• 層ごとの活性化量子化器とチャネルごとの重量量子化器を使用し、QEM (Quantization Error Minimization) によって forward パスで v とエンコーディング B を交互に最適化する。
• 前向きパスの最適化は ||Bx − vB||^2 を最小化し、B ∈ {−1,1}^{K×N} および v ∈ R^K に対して、B が固定されたときには閉形式の更新 v* = (BB^T)^{-1}Bx を用いる。
• 学習中に量子化器を通して逆伝播を行う際には Straight-Through Estimator (STE) を用いる; 訓練中に量子化器パラメータを安定化させるために移動平均を用いる。
• 標準的な方法でネットワークを訓練し、訓練後には量子化器を破棄し、推論にはそのコード/基底のみを保持する。

実験結果

リサーチクエスチョン

• RQ1 学習可能でビット演算に互換する量子化器は、手作りの量子化器を超えて低ビット量子化ネットワークの精度を改善できるか？
• RQ2 量子化器をネットワークの重み/活性化と共同で訓練することは、アーキテクチャやデータセット全体の性能にどのように影響するか？
• RQ3 Quantization Error Minimization (QEM) アプローチは、量子化器の最適化において標準のバックプロパゲーションと比較してどの程度有効か？
• RQ4 レイヤー単位の活性化量子化とチャネル単位の重み量子化を任意ビット幅で行った場合、推論速度を維持しつつモデルサイズを削減できるか？

主な発見

• 学習可能な量子化器は、アーキテクチャ（AlexNet, VGG, GoogLeNet, ResNet, DenseNet）全体で固定量子化器より一貫して高い性能を示す。
• QEMベースの訓練は、重みのみ量子化と重み+活性化量子化の両方で標準のバックプロップより良い結果をもたらす。
• ImageNetのResNet-18では、4/32ビットがトップ1 70.0%、トップ5 89.1%を達成し、フル精度（69.6%/89.2%）に非常に近い。2/32および3/32も固定量子化器より大きな改善を示す。
• CIFAR-10では、ResNet-20とVGG-Smallで3/32量子化がほぼフル-精度と同等の結果を示す; 1ビットの重みと2ビットの活性化でも競争力のある精度を維持する。
• DoReFa-Netおよび HWGQ と比較して、LQ-Netsの1/2, 2/2, 3/3, 4/4 構成は、ResNet-34, ResNet-50, DenseNet-121において ImageNet で Top-1/Top-5 のスコアがより高い。
• ビット幅が大きくなるにつれて訓練時間は穏やかに増加するが、2/32, 3/32, 1/2 はフル-精度に対する訓練時間の増加と比例的である。