[論文レビュー] Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization

Yinpeng Dong, Renkun Ni+4 more|arXiv (Cornell University)|Aug 3, 2017

Advanced Neural Network Applications参考文献 21被引用数 26

ひとこと要約

本論文では、量子化誤差に基づいて、ネットワーク重みのサブセットを確率的に低ビット表現に量子化する訓練手法であるStochastic Quantization (SQ) を提案する。残りの重みはフルプレシジョンを維持する。徐々に量子化率を増やし、誤差に依存した選択を行うことで、勾配の誤った方向へのずれを軽減し、低ビットDNNにおいて最先端の精度を達成する。一部のケースでは、フルプレシジョンモデルを上回ることすらある。

ABSTRACT

Low-bit deep neural networks (DNNs) become critical for embedded applications due to their low storage requirement and computing efficiency. However, they suffer much from the non-negligible accuracy drop. This paper proposes the stochastic quantization (SQ) algorithm for learning accurate low-bit DNNs. The motivation is due to the following observation. Existing training algorithms approximate the real-valued elements/filters with low-bit representation all together in each iteration. The quantization errors may be small for some elements/filters, while are remarkable for others, which lead to inappropriate gradient direction during training, and thus bring notable accuracy drop. Instead, SQ quantizes a portion of elements/filters to low-bit with a stochastic probability inversely proportional to the quantization error, while keeping the other portion unchanged with full-precision. The quantized and full-precision portions are updated with corresponding gradients separately in each iteration. The SQ ratio is gradually increased until the whole network is quantized. This procedure can greatly compensate the quantization error and thus yield better accuracy for low-bit DNNs. Experiments show that SQ can consistently and significantly improve the accuracy for different low-bit DNNs on various datasets and various network structures.

研究の動機と目的

• 一貫性のない量子化誤差によって引き起こされる低ビットディープニューラルネットワーク（DNN）における顕著な精度低下を是正すること。
• 各イテレーションで全重みを量子化しないことで、訓練の安定性と収束性を向上させること。
• 高誤差の重みに対してはフルプレシジョン勾配を維持しながら、低誤差の重みを段階的に量子化する手法を開発すること。
• 多様なアーキテクチャとデータセットにおいて、低ビットDNNで最先端の性能を達成すること。
• 確率的で誤差に配慮した量子化が、一様な量子化よりも優れた局所最適解に到達することを示すこと。

提案手法

• Stochastic Quantization (SQ) は、各トレーニングイテレーションで、量子化誤差に基づいてネットワーク重みのサブセットを選択し、低ビットに量子化する。
• 選択確率は量子化誤差に反比例しており、高誤差の重みは初期段階で量子化される可能性が低くなる。
• 量子化された重みは量子化パスからの勾配で更新され、フルプレシジョンの重みはフルプレシジョンパスからの勾配で更新される。
• SQ比はトレーニング全体を通して0%から100%へ徐々に増加させ、フル低ビット推論への滑らかな移行を可能にする。
• 選択と量子化の粒度としてチャネル単位を採用し、全フィルターチャネルを1単位として扱う。
• 増加するSQ比のスケジューリングに指数関数的スケームを用い、これは線形または平均的スケームよりも実験的に優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 確率的で誤差に配慮した量子化は、低ビットDNNにおける訓練の安定性と最終精度を向上させることができるか？
• RQ2 初期段階で高精度の重みのみを量子化することで、全量子化と比較して収束性が向上するか？
• RQ3 選択の粒度（要素単位 vs. チャネル単位）は、低ビットDNNの性能にどのように影響するか？
• RQ4 提案手法は、低ビット設定において、フルプレシジョンモデルと同等またはそれ以上の精度を達成できるか？
• RQ5 トレーニング中に量子化率を増やす最適なスケジュールは何か？

主な発見

• CIFAR-10のResNet-56で、SQ-BWN（1ビット重み）は標準BWNと比較してテスト誤差を9.27%低減した。
• CIFAR-10のResNet-56で、SQ-TWN（2ビット重み）は35.25%のテスト誤差を達成し、フルプレシジョンモデルの35.01%を上回った。
• ImageNetでは、SQ-TWNがResNet-18でトップ1精度36.18%を達成し、フルプレシジョンモデルの34.80%を上回った。
• テスト損失曲線から、SQ-BWNとSQ-TWNはそれぞれBWNとTWNと比較して、より安定して収束し、より低い損失に到達していることが示された。
• CIFAR-10のVGG-9、CIFAR-10のResNet-56、CIFAR-100のResNet-56で、SQ-TWNはフルプレシジョンモデルと比較して0.63%、0.49%、0.59%の精度が向上した。
• すべての評価設定で、指数関数的SQ比スケジュールが線形および平均的スケジュールを上回った。