[論文レビュー] Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework

Amrutha Prasad, Petr Motlíček+1 more|arXiv (Cornell University)|Jun 16, 2020

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、KaldiベースのDNN-HMM ASRシステムにおける音声モデルパラメータの量子化を調査し、PyTorchとKaldiにおけるトレーニング後の量子化と量子化に配慮したトレーニング（QAT）を比較する。対称量子化と適切なキャリブレーションを用いることで、8ビット整数量子化はモデルサイズを75%削減するが、WERの低下は最小限（≤2.7%絶対値）に抑えられ、QATはトレーニング後の手法を上回る性能を示す。特にLibrispeechデータ上で深層TDNN-Fアーキテクチャでは顕著な向上が見られた。

ABSTRACT

State-of-the-art hybrid automatic speech recognition (ASR) system exploits deep neural network (DNN) based acoustic models (AM) trained with Lattice Free-Maximum Mutual Information (LF-MMI) criterion and n-gram language models. The AMs typically have millions of parameters and require significant parameter reduction to operate on embedded devices. The impact of parameter quantization on the overall word recognition performance is studied in this paper. Following approaches are presented: (i) AM trained in Kaldi framework with conventional factorized TDNN (TDNN-F) architecture, (ii) the TDNN AM built in Kaldi loaded into the PyTorch toolkit using a C++ wrapper for post-training quantization, (iii) quantization-aware training in PyTorch for Kaldi TDNN model, (iv) quantization-aware training in Kaldi. Results obtained on standard Librispeech setup provide an interesting overview of recognition accuracy w.r.t. applied quantization scheme.

研究の動機と目的

• エンドツーエンドのDNNベースシステムにおけるパrameter量子化のASR性能への影響を評価すること。
• Kaldiの最先端のASRトレーニングとPyTorchの高度な量子化ツールの間のギャップを埋めること。
• TDNNおよびTDNN-Fモデルにおけるトレーニング後の量子化と量子化に配慮したトレーニング（QAT）を比較すること。
• float32からint8またはint16に量子化する際のモデルサイズ削減と認識精度のトレードオフを評価すること。
• 再現性と再利用を可能にするために、Kaldi統合型PyTorch量子化のオープンソースコードを提供すること。

提案手法

• Librispeechデータの960時間分を用いて、KaldiでLF-MMI基準に基づきTDNNおよびTDNN-F音声モデルをトレーニングした。
• C++ラッパーを介してKaldiのトレーニング済みモデルをPyTorchにエクスポートし、PyTorchの量子化ツールとの統合を可能にした。
• 重みのみの量子化、カスタム実装（重みと活性化を同じ範囲でint8に変換）、PyTorchのネイティブ量子化関数を用いたトレーニング後の量子化を適用した。
• 微調整中に量子化誤差を最小限に抑えるために、PyTorchおよびKaldiの両方で量子化に配慮したトレーニング（QAT）を実装した。
• 8ビットおよび16ビット整数表現に対して対称量子化を用い、活性化統計に基づく動的範囲キャリブレーションを実施した。
• 主な評価指標として語彙誤り率（WER）を用い、すべてのモデルをLibrispeechテストクリーンセットで評価した。

実験結果

リサーチクエスチョン

• RQ1 KaldiでトレーニングされたTDNNおよびTDNN-F音声モデルにおいて、8ビットおよび16ビット整数量子化は語彙誤り率（WER）にどのように影響を与えるか？
• RQ2 PyTorchを用いたトレーニング後の量子化は、Kaldiでトレーニングされたモデルに対して、フルプレシジョンモデルと同等の性能を達成できるか？
• RQ3 PyTorchまたはKaldiで実施する量子化に配慮したトレーニング（QAT）は、トレーニング後の量子化と比較して、量子化誤差を低減し、認識精度を向上させるか？
• RQ4 float32からint8に量子化する際のモデルサイズ削減とWERの低下のトレードオフはいかほどか？
• RQ5 サイズと精度の観点から、量子化されたTDNN-Fモデルは、ベースラインのTDNNモデルと比較してどのように性能を発揮するか？

主な発見

• トレーニング後の8ビット整数量子化により、モデルサイズは75%削減され、float32ベースラインと比較してWERが最大2.7%絶対値上昇した。
• カスタム実装による量子化（重みと活性化を同じ範囲でint8に変換）は、モノフォンとバイフォンモデルで性能に損失なしに75%のサイズ削減を達成した。
• PyTorchのネイティブ量子化関数を用いることで、モノフォンモデルではWERが2%絶対値上昇（8.4%から10.4%に）したが、バイフォンモデルでは劣化が認められなかった。
• PyTorchで実施した量子化に配慮したトレーニング（QAT）は、トレーニング後の量子化と比較して0.6%絶対値のWER低減を達成し、ベースラインを上回る性能を示した。
• TDNN-Fモデルは標準TDNNよりも優れた性能を示し、モデルサイズは60%削減され、ベースラインTDNNと比較してWERが2.7%絶対値上昇した。
• KaldiベースのQAT手法は、重みのみの量子化と比較して量子化誤差を低減し、0.6%絶対値の性能向上を達成したが、フレームワーク間の切り替えは不要であった。