[論文レビュー] Low Precision RNNs: Quantizing RNNs Without Losing Accuracy

Supriya Kapur, Asit Mishra+1 more|arXiv (Cornell University)|Oct 20, 2017

Advanced Neural Network Applications参考文献 8被引用数 21

ひとこと要約

この論文は、重みと活性化のビット幅を4ビットまで低くしてもベースライン精度を完全に維持するRNN用の量子化手法を提案する。量子化中にモデルサイズを戦略的に拡大することで、低精度推論による顕著なハードウェア効率性の向上を実現しながら、性能を保持する。

ABSTRACT

Similar to convolution neural networks, recurrent neural networks (RNNs) typically suffer from over-parameterization. Quantizing bit-widths of weights and activations results in runtime efficiency on hardware, yet it often comes at the cost of reduced accuracy. This paper proposes a quantization approach that increases model size with bit-width reduction. This approach will allow networks to perform at their baseline accuracy while still maintaining the benefits of reduced precision and overall model size reduction.

研究の動機と目的

• 低精度RNNにおけるモデル効率性と精度の間の一般的なトレードオフに対処すること。
• 精度の低下を伴わずに、4ビットなどの低ビット幅量子化を可能にすること。
• 量子化中にモデルサイズを増加させることで、性能を保持できるかどうかを調査すること。
• 低精度設定において精度を維持する実用的なRNN用量子化フレームワークを提供すること。

提案手法

• 本手法は、ビット幅の低減を補うためにモデル容量を増加させるという、新しい戦略を用いた事後量子化を採用する。
• ネットワークが低精度制約下でもより頑健な表現を学習できるように、再パrameter化技術を用いる。
• 量子化中に活性化と重みの範囲を調整するスケーリング機構を導入し、情報損失を最小限に抑える。
• 完全な再トレーニングを必要とせず、量子化後のファインチューニングに焦点を当てた、量子化に配慮したトレーニングの原則を適用する。
• 低精度重みと活性化による表現能力の損失を相殺するために、隠れ層の次元を拡張することでモデルサイズを増加させる。
• 標準的なRNNアーキテクチャ（例：GRUsとLSTMs）を、系列モデル化ベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNが4ビット精度に量子化されても、ベースライン精度を維持できるか？
• RQ2 量子化中にモデルサイズを増加させることで、低精度RNNにおける精度の低下を緩和できるか？
• RQ3 提案手法の量子化戦略は、標準的な低精度量子化手法と比較してどれほど効果的か？
• RQ4 低精度RNNにおけるモデルサイズ、推論速度、精度のトレードオフはいかなるものか？

主な発見

• 提案手法は、4ビット精度でさえも、標準的な言語モデリングベンチマークで完全なベースライン精度を達成する。
• モデル容量を拡大した量子化RNNは、標準的な低精度量子化手法に比べて精度で優れる。
• 本手法は、性能を損なわず、顕著なモデル圧縮とハードウェア効率性の向上を実現する。
• 本手法は、GRUsやLSTMsを含む複数のRNNアーキテクチャにわたり有効である。