[論文レビュー] Bridging the Accuracy Gap for 2-bit Quantized Neural Networks (QNN)

Jungwook Choi, Pierce Chuang+4 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Neural Network Applications参考文献 13被引用数 38

ひとこと要約

本稿では、2ビット量子化ニューラルネットワーク（QNNs）を実現するためのPACT（パrameterized Clipping Activation）とSAWB（Statistics-Aware Weight Binning）を提案する。これらの手法により、アーキテクチャの変更なしに、フルプレシジョンモデルと同等の最先端の精度を達成できる。PACTは学習中に活性化のクリッピングパラメータαを最適化することで、動的かつ適応的な量子化範囲を実現する。一方、SAWBは重み分布の統計的情報を用いて、全探索を伴わずに最適なスケーリング係数を計算し、量子化誤差を最小化する。両手法の組み合わせにより、ImageNetおよびCIFAR-10でほぼゼロの精度低下が達成され、計算オーバーヘッドも最小限に抑えられる。

ABSTRACT

Deep learning algorithms achieve high classification accuracy at the expense of significant computation cost. In order to reduce this cost, several quantization schemes have gained attention recently with some focusing on weight quantization, and others focusing on quantizing activations. This paper proposes novel techniques that target weight and activation quantizations separately resulting in an overall quantized neural network (QNN). The activation quantization technique, PArameterized Clipping acTivation (PACT), uses an activation clipping parameter $α$ that is optimized during training to find the right quantization scale. The weight quantization scheme, statistics-aware weight binning (SAWB), finds the optimal scaling factor that minimizes the quantization error based on the statistical characteristics of the distribution of weights without the need for an exhaustive search. The combination of PACT and SAWB results in a 2-bit QNN that achieves state-of-the-art classification accuracy (comparable to full precision networks) across a range of popular models and datasets.

研究の動機と目的

• モデルサイズの増加なしに、2ビット量子化ニューラルネットワーク（QNNs）における精度ギャップを埋めること。
• 学習中に適応的に変化する、精度を維持するためのロバストな活性化量子化手法の開発。
• 重み分布の統計的分析を用いて、効率的に最適なスケーリング係数を特定する重み量子化方式の設計。
• 複数のモデルおよびデータセットにおいて、2ビットQNNの分類精度を最先端水準にまで引き上げ、フルプレシジョンネットワークと同等の性能を達成すること。
• ネットワークの幅や深さを拡張せずに、高精度な量子化が可能であることを実証し、計算効率を維持すること。

提案手法

• PACTは、バックプロパゲーション中に最適化される学習可能な活性化クリッピングパラメータαを導入し、活性化の量子化範囲を動的に調整する。
• SAWBは、重みの統計的分布を分析することで、全探索を伴わずに最適なスケーリング係数を計算し、量子化誤差を最小化する。
• 本手法は、活性化にPACT、重みにSAWBを独立して適用し、最小限の精度損失でエンドツーエンドの2ビットQNN学習を可能にする。
• ネットワークの拡張や、フルプレシジョン層を再学習する必要がなく、O(n)の計算オーバーヘッドを維持する。
• PACTとSAWBは統合されたQNN学習パイプラインに統合され、量子化パラメータの共同最適化を可能にする。
• 標準ベンチマーク（AlexNet、ResNet-20、ImageNetなど）およびチャネル拡張に関するアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、2ビット量子化ニューラルネットワークがフルプレシジョンモデルと同等の分類精度を達成できるか？
• RQ2 学習中に適応的に変化する活性化量子化手法は、精度の低下を最小限に抑えることができるか？
• RQ3 全探索を伴わない効率的な重み量子化のスケーリング係数選定法は、従来の探索ベースやヒューリスティック手法を上回る性能を発揮できるか？
• RQ4 ロバストな活性化および重み量子化技術を組み合わせることで、多様なモデルおよびデータセットにおいて2ビット精度で同等の精度が達成可能か？
• RQ5 ネットワークの幅やパラメータ数を増加させずに、2ビットQNNにおけるモデル精度をどの程度維持できるか？

主な発見

• 提案手法PACT+SAWBによる2ビットQNNは、フルプレシジョンベースラインと比較してAlexNetでゼロの精度低下を達成し、先行手法を上回る。
• CIFAR-10では、トップ1精度損失が1%未満に抑えられ、モデル間での一般化性能が優れていることが示された。
• ImageNetでは、報告済みのすべての2ビット量子化手法の中で最高の分類精度を達成した。
• モデルサイズを拡大せずに、ほぼフルプレシジョンの精度を維持しており、WRPN-2xのように2倍の幅が必要な手法とは対照的である。
• チャネル拡張を組み合わせた場合、PACT+SAWBはわずか1.25倍のチャネル拡張でフルプレシジョンの精度を達成したが、DoReFaは2倍の拡張が必要であった。
• エネルギー効率が維持されている：WRPN-2xは4倍のMAC演算を要し、エネルギー効率が4倍低下するが、PACT+SAWBはそのようなトレードオフなしに高い効率性を維持している。