[論文レビュー] On the quantization of recurrent neural networks

Jian Li, Raziel Álvarez|arXiv (Cornell University)|Jan 14, 2021

Advanced Neural Network Applications参考文献 18被引用数 7

ひとこと要約

この論文は、8ビット整数演算のみを用いて、正確で効率的かつハードウェアに依存しない推論を可能にする、長短期記憶（LSTM）ネットワーク向けの整数のみの量子化戦略を提示する。事前に計算されたゼロポイントと対称量子化を活用することで、トレーニング後の近似損失なしの精度を達成し、CPU上でFP32と比較して最大2倍速い推論が可能になる。メモリ使用量は最小限で、推論時に浮動小数点演算を一切使用しない。

ABSTRACT

Integer quantization of neural networks can be defined as the approximation of the high precision computation of the canonical neural network formulation, using reduced integer precision. It plays a significant role in the efficient deployment and execution of machine learning (ML) systems, reducing memory consumption and leveraging typically faster computations. In this work, we present an integer-only quantization strategy for Long Short-Term Memory (LSTM) neural network topologies, which themselves are the foundation of many production ML systems. Our quantization strategy is accurate (e.g. works well with quantization post-training), efficient and fast to execute (utilizing 8 bit integer weights and mostly 8 bit activations), and is able to target a variety of hardware (by leveraging instructions sets available in common CPU architectures, as well as available neural accelerators).

研究の動機と目的

• 多様なハードウェアに効率的に展開可能な、高いモデル精度を維持しつつ、完全に整数の量子化戦略をLSTMネットワークに開発すること。
• 推論時に浮動小数点演算に依存しないようにすることで、エネルギー効率とハードウェア互換性を向上させること。
• 微調整を必要とせず、最小限のデータでトレーニング後量子化を可能にし、生産環境での実用的展開を確保すること。
• 事前にゼロポイント補正を計算し、バイアス項に統合することで、整数実行を最適化すること。
• 他のRNN変種、特にGRUsやSRUsの量子化のためのスケーラブルな基盤を提供すること。

提案手法

• 重みと活性化の両方に対して、学習されたスケールおよびゼロポイントパラメータを用いた対称8ビット整数量子化を適用。
• 微調整なしで、少量のデータ（100発話分）の統計を収集するトレーニング後量子化を適用。
• 事前にゼロポイント項をオフラインで計算し、バイアスに統合することで、実行時の量子化オーバーヘッドを排除。
• TFグラフを再構成し、入力と再帰的重み・活性化の連結を分離することで、正確なテンソル単位の量子化を実現。
• 量子化パイプラインにレイヤーナルムライゼーションとピーチポケット接続を組み込み、数値的安定性を維持。
• 標準LSTMとCIFGバージョンの両方をサポートし、モデル圧縮のためのスパarsity対応量子化を実装。

実験結果

リサーチクエスチョン

• RQ1 浮動小数点演算を一切使用せずに、高い推論精度を維持する完全に整数のみの量子化戦略をLSTMネットワークに設計可能か？
• RQ2 特に長いシーケンスにおいて、最小限のデータでのトレーニング後量子化はLSTMモデルに対してどの程度効果的か？
• RQ3 CPUアーキテクチャ上で整数LSTM推論を最適化するには、どのような最適化を適用できるか？ これにより、最大のスループット向上とエネルギー効率の向上が達成できるか？
• RQ4 提案された量子化戦略は、GRUs や SRUs などの他のRNN変種へ一般化可能か？
• RQ5 さまざまな音声認識データセット（シーケンス長が異なるものも含む）において、この量子化戦略はどのように性能を発揮するか？

主な発見

• わずか100発話分のデータでトレーニング後量子化を実施しても、長さ16.5分のYouTube発話データを含むすべてのデータセットで、精度損失は無視できるほど小さい。
• 完全に整数の量子化モデルは、VoiceSearchで6.7% WER、YouTubeで19.8% WER、Telephonyで8.2% WERを達成し、浮動小数点ベースラインと同等の精度を維持。
• 整数量子化により、モデルサイズをFP32の466MBから8ビット整数の117MBにまで75%削減。
• 最適化された整数LSTMは、ハイブリッド量子化よりも5%速く、FP32よりも2倍速くCPU上で実行され、実行時のスケール計算が不要。
• 50%のスパarsityを有するLSTMに対しても対応可能で、モデルサイズは整数版で71MB、スパース整数版で57MBにまで削減され、精度低下は最小限。
• この戦略は、双方向LSTM、GRUs、その他のRNN変種に対しても直接適用可能で、一貫した性能と精度を発揮。