[論文レビュー] Adaptive Quantization for Deep Neural Network

Yiren Zhou, Seyed-Mohsen Moosavi-Dezfooli+2 more|arXiv (Cornell University)|Dec 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 3被引用数 15

ひとこと要約

本論文は、深層ニューラルネットワークにおける各層のビット幅を最適化する理論的裏付けのある量子化誤差の影響を測定することで、適応的量子化フレームワークを提案する。層ごとの量子化ノイズの累積的影響を最小化することで、同等ビット幅量子化および最先端のSQNRに基づく手法と比較して、同じ精度レベルで20–40%高い圧縮率を達成する。

ABSTRACT

In recent years Deep Neural Networks (DNNs) have been rapidly developed in various applications, together with increasingly complex architectures. The performance gain of these DNNs generally comes with high computational costs and large memory consumption, which may not be affordable for mobile platforms. Deep model quantization can be used for reducing the computation and memory costs of DNNs, and deploying complex DNNs on mobile equipment. In this work, we propose an optimization framework for deep model quantization. First, we propose a measurement to estimate the effect of parameter quantization errors in individual layers on the overall model prediction accuracy. Then, we propose an optimization process based on this measurement for finding optimal quantization bit-width for each layer. This is the first work that theoretically analyse the relationship between parameter quantization errors of individual layers and model accuracy. Our new quantization algorithm outperforms previous quantization optimization methods, and achieves 20-40% higher compression rate compared to equal bit-width quantization at the same model prediction accuracy.

研究の動機と目的

• DNNの各層における均一なビット幅量子化の非効率性に起因する、量子化に対する層の構造的感度の違いを無視する問題に対処すること。
• 個々の層の量子化誤差が全体のモデル精度低下に与える影響を理論的に裏付けられた指標で結びつけること。
• 深層ネットワークにおける指数的探索が非現実的であるのを避けるために、各層のビット幅を効率的に非全探索的最適化すること。
• 特にSQNRに基づく手法や等ビット幅手法と比較して、同じ精度でより高い圧縮率を達成すること。

提案手法

• 各層の残差誤差ベクトルのL2ノルムに基づく測定法を提案し、各層における量子化ノイズが全体のモデル予測精度に与える影響を定量化する。
• 理論的枠組みを導出し、ノイズが小さい場合には全層における量子化誤差が近似的に加法的であることを示し、スケーラブルな最適化を可能にする。
• この加法的誤差モデルを用いて、全体の誤差を最小化し、精度制約を満たす各層の最適ビット幅を計算する。
• 提案された誤差測定に基づき、ビット幅を決定した上で各層に均一量子化を適用し、ビット幅の組み合わせを全探索するのを避ける。
• ImageNetモデルを用いた実験により、低ノイズ条件下で加法性仮定が強く一致することを実証的に確認する。
• 各層における圧縮率と精度のバランスを最適化する勾配フリーで反復的な手続きを用いる。

実験結果

リサーチクエスチョン

• RQ1 DNNの各層における量子化誤差が、全体のモデル予測精度にどのように集積的に影響を与えるか？
• RQ2 理論的裏付けのある加法的誤差モデルは、層ごとの量子化が最終的なモデル性能に与える影響を正確に予測できるか？
• RQ3 各層に適応的ビット幅割り当てを施すことで、均一ビット幅またはSQNRに基づくビット幅選択と比較して、圧縮-精度トレードオフにおいて優れた性能を発揮できるか？
• RQ4 本手法は、AlexNet、VGG-16、GoogleNet、ResNet-50といった多様なDNNアーキテクチャにスケーラブルかつ有効に適用できるか？

主な発見

• AlexNetおよびVGG-16では、同等の精度低下を許容した場合に、本手法は等ビット幅量子化と比較して30–40%小さいモデルサイズを達成する。
• GoogleNetおよびResNet-50では、同一の精度制約下で、等ビット幅量子化と比較して15–20%小さいモデルサイズを達成する。
• テストされたすべてのモデルにおいて、本手法はSQNRに基づく量子化アプローチを一貫して上回り、特にSQNRベース手法が性能を発揮しないResNet-50においても顕著である。
• 実証的検証により、低ノイズ条件下で量子化誤差ノルムの加法性が確認され、本手法の理論的基盤を支持する。
• 本手法は、分数ビット幅最適化により、SQNRベース手法よりも多くのビット幅の組み合わせを生成し、より細かい圧縮制御を可能にする。
• 理論的分析により、層ごとの量子化誤差と全体のDNN精度との間で、類例のない初めての明確な関連付けを確立し、適応的量子化の原理的基盤を提供する。