[論文レビュー] Alternating Multi-bit Quantization for Recurrent Neural Networks

Chen Xu, Jianqiang Yao+5 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Neural Network Applications被引用数 51

ひとこと要約

本論文は、RNNs の重みと活性化を複数のバイナリコードに量子化する交互多ビット量子化を提案し、メモリ削減と CPU 推論速度の大幅な向上をほぼ精度損失なしに実現します。LSTM/GRU に対して 2-bit および 3-bit 量子化を実証し、従来手法を上回る顕著な改善を示し、画像分類へも拡張します。

ABSTRACT

Recurrent neural networks have achieved excellent performance in many applications. However, on portable devices with limited resources, the models are often too large to deploy. For applications on the server with large scale concurrent requests, the latency during inference can also be very critical for costly computing resources. In this work, we address these problems by quantizing the network, both weights and activations, into multiple binary codes {-1,+1}. We formulate the quantization as an optimization problem. Under the key observation that once the quantization coefficients are fixed the binary codes can be derived efficiently by binary search tree, alternating minimization is then applied. We test the quantization for two well-known RNNs, i.e., long short term memory (LSTM) and gated recurrent unit (GRU), on the language models. Compared with the full-precision counter part, by 2-bit quantization we can achieve ~16x memory saving and ~6x real inference acceleration on CPUs, with only a reasonable loss in the accuracy. By 3-bit quantization, we can achieve almost no loss in the accuracy or even surpass the original model, with ~10.5x memory saving and ~3x real inference acceleration. Both results beat the exiting quantization works with large margins. We extend our alternating quantization to image classification tasks. In both RNNs and feedforward neural networks, the method also achieves excellent performance.

研究の動機と目的

• リソース制約のあるデバイスや高い同時実行性を持つサーバーでの展開を念頭に、リカレントニューラルネットワークのメモリ使用量と遅延を削減する。
• 原理的な最適化手法を用いて、重みと活性化の両方をマルチビットバイナリコードに量子化する。
• 交互最小化が高精度の量子化を低計算オーバーヘッドでもたらし、タスク間で競争力のある精度を示すことを示す。
• LSTM および GRU 言語モデルでの有効性を示し、画像分類タスクへ拡張する。

提案手法

• バイナリコード {-1,+1} を用いた最適化問題としてマルチビット量子化を定式化し、係数とコードを学習する。
• 量子化係数が固定されると、バイナリコードは BST（Binary Search Tree）により効率的に導出できる、という観察。
• 交互最小化を適用する：係数を固定してコードを最適化し、コードを固定して係数を最適化する。実践では貪欲な初期化と二つの交互サイクルを用いる。
• RNN の重みを行ごとに量子化し、推論時には活性化をオンラインで量子化する。
• CPU 上でのバイナリ乗算カーネルを実装し、バイナリコードを連結して効率的な行列-ベクトル積を実現することで並列性を活用する。
• 二階層最適化設定で勾配にはストレートスルー推定を用い、重みを [-1,1] に保つためクリッピングを適用する。

実験結果

リサーチクエスチョン

• RQ1 交替多ビット量子化は言語モデルにおける量子化済みとフル精度の RNN の性能ギャップを縮められるか。
• RQ2 PTB、WikiText-2、Text8 のデータセットで、2-bit および 3-bit 量子化が LSTM/GRU のメモリ、速度、パープレキシティにどのように影響するか。
• RQ3 このアプローチは RNN 以外の画像分類タスクにも一般化可能か。
• RQ4 CPU ハードウェア上での計算上のトレードオフと実用的な加速利得は何か。

主な発見

• 2-bit 量子化は、LSTM/GRU 言語モデルで妥当な精度損失を伴いながら、約 16x のメモリ節約と約 6x の CPU 推論速度向上を実現。
• 3-bit 量子化はほとんど精度損失がなく（場合によっては改善）、約 10.5x のメモリ節約と約 3x の速度向上を達成。
• 交互量子化は、PTB、WikiText-2、Text8 の各データセットで、従来のマルチビット手法（Uniform、Balanced、Greedy、Refined）を一貫して上回る。
• 重みを行ごとに量子化し、オンラインの活性化量子化を組み合わせることで、CPU ハードウェア上での実用的な加速を実現。
• この手法は画像分類でも有利な結果を示し、RNNs を超える一般性を示唆。