[論文レビュー] Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection

Penghang Yin, Shuai Zhang+2 more|arXiv (Cornell University)|Dec 19, 2016

Advanced Neural Network Applications参考文献 15被引用数 15

ひとこと要約

本稿では、重みをゼロまたは2の累乗に量子化する6ビット以下の低ビット幅畳み込みニューラルネットワークをトレーニングする最適化ベースの手法LBW-Netを提案する。2ビットネットワークに対しては最小二乗量子化問題を正確に解き、3ビット以上では1つの調整可能なパラメータを有する半アナリティカルなしきい値処理方式を用いることで、PASCAL VOCオブジェクト検出タスクにおいてほぼ損失なしの精度を達成するとともに、4倍以上の高速な推論と顕著なメモリ・エネルギー効率の向上を実現する。

ABSTRACT

We present LBW-Net, an efficient optimization based method for quantization and training of the low bit-width convolutional neural networks (CNNs). Specifically, we quantize the weights to zero or powers of two by minimizing the Euclidean distance between full-precision weights and quantized weights during backpropagation. We characterize the combinatorial nature of the low bit-width quantization problem. For 2-bit (ternary) CNNs, the quantization of $N$ weights can be done by an exact formula in $O(N\log N)$ complexity. When the bit-width is three and above, we further propose a semi-analytical thresholding scheme with a single free parameter for quantization that is computationally inexpensive. The free parameter is further determined by network retraining and object detection tests. LBW-Net has several desirable advantages over full-precision CNNs, including considerable memory savings, energy efficiency, and faster deployment. Our experiments on PASCAL VOC dataset show that compared with its 32-bit floating-point counterpart, the performance of the 6-bit LBW-Net is nearly lossless in the object detection tasks, and can even do better in some real world visual scenes, while empirically enjoying more than 4$ imes$ faster deployment.

研究の動機と目的

• モバイル端末などリソース制約のあるデバイスに大規模で高精度なCNNをデプロイする課題に対処すること。
• モデル精度を保持しつつ、計算効率とメモリ節約を最大化する効率的で正確かつスケーラブルな低ビット幅CNN用の量子化手法を開発すること。
• 重み量子化に起因する精度の低下を最小限に抑えつつ、計算効率とメモリ節約を最大化すること。
• 最小二乗誤差に依存するのではなく、ネットワークの再トレーニングとオブジェクト検出性能評価を通じて最適な量子化パラメータを特定すること。

提案手法

• バックプロパゲーション中に、全精度重みと量子化重みの間のユークリッド距離を最小化することで、全精度重みをゼロまたは2の累乗に量子化する。
• 2ビット（3値）ネットワークの場合、ソートに基づくアプローチを用いてO(N log N)時間で最適量子化を正確に計算する。
• ビット幅が3以上の場合、1つの自由パラメータμを用いて量子化レベルを定義する半アナリティカルなしきい値処理方式を導入する。
• スケーリング係数sは、各レイヤー内の重みの絶対値の分布とμから解析的に導出される。
• パラメータμは、近似誤差のみに依存するのではなく、ネットワークの再トレーニングとオブジェクト検出性能評価を通じて調整される。
• 再トレーニングには、各トレーニングイテレーションで量子化を強制する低コストのしきい値処理ステップを追加した、投影確率的勾配降下法の変種が用いられる。

実験結果

リサーチクエスチョン

• RQ1 全精度重みに対する低ビット幅量子化問題の最小二乗意味での正確な解を導出可能か？
• RQ2 大規模CNNに対して、ビット幅が3以上の場合の組み合わせ的複雑性を効果的に管理する方法は何か？
• RQ3 高い検出精度を達成するための半アナリティカル量子化方式における自由パラメータμの最適値は何か？
• RQ4 6ビットなどの低ビット幅ネットワークは、オブジェクト検出タスクにおいて、全精度モデルの性能にどの程度近づけるか？
• RQ5 ゼロまたは2の累乗の重みを用いた量子化推論は、デプロイ速度と効率を顕著に向上させるか？

主な発見

• 6ビットのLBW-Netは、PASCAL VOCデータセットにおいて、32ビット浮動小数点モデルと比較して1%以内の性能でオブジェクト検出を達成する。
• 2ビットネットワークでは、正確な量子化解がO(N log N)時間で計算可能であり、効率的な最適化が可能である。
• ビット幅が4以上の場合の最適パラメータμは、実験的にμ = (3/4) × ||W^f||_∞として特定され、大規模な重みの正確な符号化を優先する。
• LBW-Netは、浮動小数点乗算をビットシフトに置き換えることで、全精度モデルと比較して4倍以上の高速なデプロイを実現する。
• 実際の視覚的シーンにおいて、6ビットのLBW-Netは全精度モデルを上回る性能を示しており、複雑な特徴に対して高いロバスト性を示す。
• 本手法は、スクラッチからのトレーニングまたは部分的ウォームスタートをサポートしており、再トレーニングにより量子化に起因する誤差を効果的に吸収できる。