[論文レビュー] On the efficient representation and execution of deep acoustic models

Raziel Álvarez, Rohit Prabhavalkar+1 more|arXiv (Cornell University)|Jul 15, 2016

Speech Recognition and Synthesis参考文献 19被引用数 6

ひとこと要約

本稿では、メモリ使用量を削減し、最適化された整数演算により推論を高速化する、深層音響モデル向けの単純な8ビット整数量子化スキームを提案する。また、量子化に起因する精度損失の回復を図る量子化に配慮した訓練プロセスを導入している。LSTMベースの音声認識タスクにおいて評価した結果、ノイジーな環境下でもほぼ損失のない性能を達成した。

ABSTRACT

In this paper we present a simple and computationally efficient quantization scheme that enables us to reduce the resolution of the parameters of a neural network from 32-bit floating point values to 8-bit integer values. The proposed quantization scheme leads to significant memory savings and enables the use of optimized hardware instructions for integer arithmetic, thus significantly reducing the cost of inference. Finally, we propose a "quantization aware" training process that applies the proposed scheme during network training and find that it allows us to recover most of the loss in accuracy introduced by quantization. We validate the proposed techniques by applying them to a long short-term memory-based acoustic model on an open-ended large vocabulary speech recognition task.

研究の動機と目的

• リソース制約のあるモバイルデバイスへの深層音響モデルの効率的デプロイを可能にするために、精度を損なわずにモデルの精度を低減すること。
• 32ビット浮動小数点重みを8ビット整数に後処理量子化することで生じる精度の低下を解消すること。
• フル精度と量子化モデルの性能ギャップを最小限に抑える訓練に配慮した量子化手法を開発すること。
• 提案手法の有効性を、クリーンおよびノイジーな音声認識条件下における長短時系列記憶（LSTM）ベースの音響モデルに対して評価すること。

提案手法

• 均一な線形量子化器が、各層の重みの動的範囲に基づいてスケール因子を用いて32ビット浮動小数点重みを8ビット整数にマッピングする。
• 推論時に量子化を適用する際、単純なスケーリングとクリッピング操作を用いる：$ V' = Q imes (V - V_{\text{min}}) $、ここで $ Q = \frac{255}{V_{\text{max}} - V_{\text{min}}} $。
• 量子化に配慮した訓練プロセスでは、順伝播では量子化された重みが使用されるが、勾配の更新にはフル精度の重みが用いられ、バックプロパゲーション中に量子化ノイズをシミュレートする。
• 『quant』スキームでは最終のソフトマックス層を除くすべての層に適用されるが、『quant-all』バージョンではすべての層に適用される。
• LSTMプロジェクション層に対してスケジュールされたプロジェクション学習率を用いることで、二段階の事前学習を必要とせず、学習の収束を加速できる。
• 本手法は、LSTM音響モデルを用いた大規模語彙・オープンエンドの音声認識タスクで検証された。

実験結果

リサーチクエスチョン

• RQ1 8ビット整数量子化は、顕著な精度損失を伴わず、深層音響モデルにおけるメモリと計算コストを著しく削減できるか？
• RQ2 量子化に配慮した訓練は、後処理量子化によって生じた精度損失をどれほど回復できるか？
• RQ3 提案された量子化スキームは、ノイジーな音声認識条件下でも性能を維持できるか？
• RQ4 線形再帰的プロジェクション層の組み込みは、量子化のロバストネスとモデル効率にどのように影響するか？
• RQ5 学習率スケジューリングのような訓練戦略は、量子化されたLSTMモデルを学習する際の収束性と性能をどのように向上させるか？

主な発見

• 後処理量子化による8ビット整数化は、ノイジーな評価セットで最大8.1％の相対的WER悪化を引き起こし、クリーンセットでは最大5.1％の悪化をもたらした。
• 量子化に配慮した訓練により、クリーンセットで2.1％の精度損失が回復され、ノイジーなセットでは4.0％の回復が達成され、一部のモデルではほぼ完全な回復が達成された。
• プロジェクション層を備えたモデルは、標準的な深層LSTMアーキテクチャに比べて量子化に対してより高いロバストネスを示し、性能低下が少なかった。
• 『quant』スキーム（ソフトマックス層を量子化対象外とする）は、最終的なWERにおいて『quant-all』をわずかに上回った。これは、高精度の出力層が精度の維持に寄与していることを示唆している。
• スケジュールされたプロジェクション学習率戦略により、SVDベースの初期化よりも収束が速く、二段階訓練の必要がなくなった。
• 提案された量子化スキームにより、SIMD最適化された整数演算とメモリバンド幅の削減が実現され、組み込み型音声認識システムに適した高速化が達成された。