[論文レビュー] Bit Efficient Quantization for Deep Neural Networks

Prateeth Nayak, David Zhang+1 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 19被引用数 11

ひとこと要約

本論文は、データセットの分布に配慮した重みクラスタリングとスパarsity最適化を活用することで、最小限の精度低下で3ビット精度を達成する、データフリーでポストトレーニング量子化手法を提案する。この手法により、エッジデバイス上でビット効率の高い推論が可能となり、ImageNet やその他の大規模ベンチマークでも最先端の性能を維持する。

ABSTRACT

Quantization for deep neural networks have afforded models for edge devices that use less on-board memory and enable efficient low-power inference. In this paper, we present a comparison of model-parameter driven quantization approaches that can achieve as low as 3-bit precision without affecting accuracy. The post-training quantization approaches are data-free, and the resulting weight values are closely tied to the dataset distribution on which the model has converged to optimality. We show quantization results for a number of state-of-art deep neural networks (DNN) using large dataset like ImageNet. To better analyze quantization results, we describe the overall range and local sparsity of values afforded through various quantization schemes. We show the methods to lower bit-precision beyond quantization limits with object class clustering.

研究の動機と目的

• エッジデバイス向けに、精度の低下を最小限に抑えて低精度推論を可能にすること。
• ファインチューニングや再トレーニングを必要としないポストトレーニング量子化手法を開発すること。
• キャリブレーションデータやモデルの再トレーニングに依存せずに3ビット量子化を達成すること。
• 重みの分布、動的範囲、スパarsityが低ビット量子化性能に与える影響を分析すること。
• オブジェクトクラスに配慮したクラスタリングを用いて、従来のビット制限を超えた量子化を拡張すること。

提案手法

• 本手法は、追加のデータやファインチューニングを必要とせず、事前にトレーニングされたモデルにポストトレーニング量子化を適用する。
• データフリーなアプローチを採用し、収束したモデルの学習済み重み分布から量子化レベルを導出する。
• 意味的関連性に基づいて重みをグループ化するオブジェクトクラスクラスタリングを導入し、量子化の効率を向上させる。
• 重みテンソルのグローバルな範囲とローカルなスパarsityを分析して、量子化スキームの選定を支援する。
• データセットの統計的性質に量子化レベルを一致させることで、精度の低下を最小限に抑える。
• モデルパラメータの分布に適応する非一様量子化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングやキャリブレーションデータが不要な状況で、3ビット量子化を深層ニューラルネットワークに実現できるか？
• RQ2 モデル重みの分布が低ビット量子化の精度にどのように影響するか？
• RQ3 オブジェクトクラスクラスタリングは、従来の手法を上回る量子化効率をどの程度向上できるか？
• RQ4 低ビット幅における重みのスパarsityと量子化性能の関係は何か？
• RQ5 データフリーなポストトレーニング量子化は、ImageNet などの大規模データセットにおいて最先端の精度を維持できるか？

主な発見

• 提案手法は、ImageNet やその他の大規模DNNにおいて、3ビット量子化を実現し、精度の低下をほとんど認めない。
• データフリーなポストトレーニング量子化は、再トレーニングやキャリブレーションデータが不要な状態でモデル性能を維持する。
• オブジェクトクラスクラスタリングにより、意味的重みグループに一致する量子化レベルを設定することで、量子化効率が顕著に向上する。
• 本手法は高いローカルスパarsityと最適な動的範囲を維持し、量子化誤差を低減する。
• 量子化の結果から、重みの分布とスパarsityが低ビット性能を決定づける重要な要因であることが示された。
• 複数のアーキテクチャにわたり、モデル精度を維持しつつ、ビット効率の面で最先端の結果を示した。