[論文レビュー] Differentiable Fine-grained Quantization for Deep Neural Network Compression

Hsin-Pai Cheng, Yuanjun Huang+5 more|arXiv (Cornell University)|Oct 20, 2018

Advanced Neural Network Applications参考文献 10被引用数 11

ひとこと要約

本論文は、離散的なビット幅選択を連続空間に緩和することで、勾配ベース最適化が可能な微分可能で細分化された量子化手法を提案する。深層ニューラルネットワークにおける混合精度量子化の最適化を可能にする。層別ビット幅とネットワーク重みを同時に最適化することで、最大30倍の圧縮を達成しつつ、精度の低下を最小限に抑え、固定精度ベースライン（8ビットやバイナリ量子化）を上回る性能を発揮する。

ABSTRACT

Neural networks have shown great performance in cognitive tasks. When deploying network models on mobile devices with limited resources, weight quantization has been widely adopted. Binary quantization obtains the highest compression but usually results in big accuracy drop. In practice, 8-bit or 16-bit quantization is often used aiming at maintaining the same accuracy as the original 32-bit precision. We observe different layers have different accuracy sensitivity of quantization. Thus judiciously selecting different precision for different layers/structures can potentially produce more efficient models compared to traditional quantization methods by striking a better balance between accuracy and compression rate. In this work, we propose a fine-grained quantization approach for deep neural network compression by relaxing the search space of quantization bitwidth from discrete to a continuous domain. The proposed approach applies gradient descend based optimization to generate a mixed-precision quantization scheme that outperforms the accuracy of traditional quantization methods under the same compression rate.

研究の動機と目的

• リソース制約のあるデバイスにおけるモデル圧縮と精度のバランスをとる固定精度量子化の非効率性を解消すること。
• 均一な量子化と比較して、層別ビット幅選択が精度-圧縮トレードオフを改善できるかどうかを検討すること。
• 混合精度量子化スキームのエンドツーエンド最適化を可能にする微分可能探索メカニズムの開発。
• 従来の8ビットやバイナリ量子化と比較して、より高い圧縮率を達成しつつ、モデル精度を維持または向上させること。
• 既存の技術（例：重みプルーニング）と直交的であり、効率的かつスケーラブルな量子化を可能にすること。

提案手法

• バイナリや8ビットなどの離散的量子化ビット幅選択を、ソフトマックスに基づく緩和により連続的ドメインに緩和することで、勾配ベース最適化を可能にする。
• 各層の量子化選択を、特定のビット幅を選択する確率を表す可学習パラメーターベクトル α としてモデル化する。
• 二段階最適化フレームワークを採用：モデルサイズ G(α) を最小化するが、検証損失制約 L_val(w*, α) ≤ θ を満たす必要がある。ここで w* は、与えられた α に対して最適な訓練重みである。
• ラグランジュ緩和と近似アルゴリズムを用いて制約付き最適化問題を解き、勾配降下を用いて α と w を交互に更新する。
• 量子化操作の微分可能緩和を採用することで、量子化プロセスを逆伝播可能にし、ビット幅とネットワーク重みの共同最適化を可能にする。
• 最適化後、推論用に学習された混合精度スキームに基づき、最終モデルを再訓練およびファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 離散的量子化ビット幅を連続的ドメインに緩和することで、深層ニューラルネットワークにおける精度-圧縮トレードオフが改善できるか？
• RQ2 異なる層が異なるビット幅を使用する層別混合精度量子化が、同じ圧縮率において均一量子化を上回る性能を発揮するか？
• RQ3 離散的探索ヒューリスティクスに依存せずに、勾配ベース最適化が最適な混合精度設定を効果的に探索できるか？
• RQ4 8ビットやバイナリなどの固定精度ベースラインと比較して、本手法の圧縮率と精度はどのように異なるか？
• RQ5 本手法は、重みプルーニングなどの他の圧縮技術とどの程度組み合わせ可能か？

主な発見

• MNISTでは、28倍の圧縮率で0.46%の精度低下（98.20%精度）を達成し、より高い圧縮率において8ビット（98.48%）やバイナリ（96.34%）ベースラインを上回った。
• VGG-16を用いたCIFAR-10では、30倍の圧縮率で83.06%の精度を達成し、ほぼ同等の圧縮率のバイナリ量子化（81.56%）を上回った。
• 本手法はバイナリ量子化と比較して1.5%の精度向上を達成しながら、32倍近辺の圧縮率を維持した。
• 特に中間層においてメモリ消費量が顕著に削減された。図2に示すように、混合精度モデルはフルプレシジョンのVGG-16と比べて著しく狭くなった。
• 本手法は重みプルーニングと直交的であり、最先端のプルーニング技術と組み合わせることで、最大900倍の総合的圧縮率を達成できる。
• 本手法はアーキテクチャに依存せず一般化可能であり、CNNに限らずRNNやLSTMへの応用も可能性を有する。