[論文レビュー] Loss-aware Weight Quantization of Deep Networks

Lu Hou, James T. Kwok|arXiv (Cornell University)|Feb 23, 2018

Sparse and Compressive Sensing Techniques参考文献 29被引用数 57

ひとこと要約

本論は Loss-Aware Ternarization（LAT）および多ビット量子化への拡張を提案し、重み量子化時にロスを直接最適化することで、最先端手法と比較して量子化ネットワークの精度を改善します。近接ニュートン法を対角ヘシアン前処分と共に用い、層ごとおよびさまざまなビット幅にわたって1つまたは2つのスケーリングパラメータをサポートします。

ABSTRACT

The huge size of deep networks hinders their use in small computing devices. In this paper, we consider compressing the network by weight quantization. We extend a recently proposed loss-aware weight binarization scheme to ternarization, with possibly different scaling parameters for the positive and negative weights, and m-bit (where m > 2) quantization. Experiments on feedforward and recurrent neural networks show that the proposed scheme outperforms state-of-the-art weight quantization algorithms, and is as accurate (or even more accurate) than the full-precision network.

研究の動機と目的

• リソース制約のあるデバイスへの展開のために深層ネットワークのサイズを削減する動機付け。
• 量子化時にロスを直接最小化するロス認識量子化フレームワークを開発する。
• ロス認識量子化を三値化（per-layer scaling）および m-bit 量子化へ拡張する。
• 従来の量子化手法と比較して、Feedforward および再帰ネットワークにおいて高い精度と収束性を示す。

提案手法

• hat{w} = alpha b（alpha > 0、b ∈ {-1,0,1}^n）をターゲットとしたロス最適化問題として重み三値化を制約付き最適化として定式化する。
• D を対角ヘシアンとする近接ニュートン法でサブ問題を解き、2段階プロセスで w^t および hat{w}^t を得る： (i) 事前条件付き勾配ステップで w^t を計算、(ii) 投影/量子化ステップで hat{w}^t を得る。
• 三値化の alpha^t の正確解および近似解を、閉形式解（アルゴリズム1）と高速交互手法（アルゴリズム2）で導出する。
• フレームワークを拡張： (a) 正の/負の重みに対する2つのスケーリングパラメータ、 (b) 量子集合 Q への射影による m-bit 量子化、(c) 再帰ネットワークへの適用性。

実験結果

リサーチクエスチョン

• RQ1 ロス認識最適化は重み量子化の品質をヒューリスティック閾値を超えて改善できるか？
• RQ2 対角ヘシアン前処理を用いたLATは、従来のビナリゼーション/三値化手法よりも精度と収束性を改善するか？
• RQ3 多ビットおよび2スケーリングパラメータ拡張は、単一スケールの三値法と比較して精度と学習ダイナミクスにどのような影響を与えるか？
• RQ4 提案手法は、量子化ネットワークの学習を追加計算コストを抑えて実用化可能か？

主な発見

Algorithm	MNIST	CIFAR-10	CIFAR-100	SVHN
full-precision (no binarization)	1.11	10.38	39.06	2.28
BinaryConnect	1.28	9.86	46.42	2.45
BWN	1.31	10.51	43.62	2.54
LAB	1.18	10.50	43.06	2.35
TWN	1.23	10.64	43.49	2.37
LATe (1 scaling)	1.15	10.47	39.10	2.30
LATa (ternarization)	1.14	10.38	39.19	2.30
TTQ	1.20	10.59	42.09	2.38
LAT2e (2 scaling)	1.20	10.45	39.01	2.34
LAT2a (2 scaling)	1.19	10.48	38.84	2.35
DoReFa-Net3	1.31	10.54	45.05	2.39
LAQ3(linear)	1.20	10.67	38.70	2.34
LAQ3(log)	1.16	10.52	38.50	2.29

• LATおよびその派生は、MNIST、CIFAR-10、CIFAR-100、SVHN のデータセットを用いたフィードフォワードネットワークで、いくつかの最先端の重み量子化手法を上回る。
• CIFAR-10 では LATa がフル精度ネットワークと同様の性能を達成し、LATe/LAT2 系はデータセット全体で高い結果を示す。
• LSTM 言語モデル（War and Peace、Linux Kernel、Penn Treebank）では LATe および LATa が競合する三値化手法を上回り、しばしばフル精度ベースラインを超える。
• 対数3ビット量子化（LAQ3(log)）は3ビット量子化の中で一般に最良の結果を示し、2スケーリングの変種（LAT2e、LAT2a）はいくつかのケースで1スケール TTQ より改善を示す。
• 量子化されたネットワークはしばしばフル精度モデルに匹敵または上回る性能を示し、量子化が有益な正則化として機能し得ることを示唆する。