[論文レビュー] INT8 Winograd Acceleration for Conv1D Equipped ASR Models Deployed on Mobile Devices

Yiwu Yao, Yuchao Li+9 more|arXiv (Cornell University)|Oct 28, 2020

Fault Detection and Control Systems参考文献 21被引用数 8

ひとこと要約

本稿では、低精度Winograd畳み込みとRange-Scaled Quantization（RSQ）学習を組み合わせた新規のINT8 Winograd量子化パイプラインを提案する。この手法により、モバイルデバイス上でのConv1DベースのASRモデルの高速化が実現された。微調整中に量子化範囲を共同最適化し、量子化ノイズを最小限に抑えることで、ARMv7デバイス上での推論速度が最大1.48倍に向上し、WERはわずか0.07%増加にとどまり、標準的なINT8 GEMMおよびPTQ手法を上回りながらも、モデルの精度を維持した。

ABSTRACT

The intensive computation of Automatic Speech Recognition (ASR) models obstructs them from being deployed on mobile devices. In this paper, we present a novel quantized Winograd optimization pipeline, which combines the quantization and fast convolution to achieve efficient inference acceleration on mobile devices for ASR models. To avoid the information loss due to the combination of quantization and Winograd convolution, a Range-Scaled Quantization (RSQ) training method is proposed to expand the quantized numerical range and to distill knowledge from high-precision values. Moreover, an improved Conv1D equipped DFSMN (ConvDFSMN) model is designed for mobile deployment. We conduct extensive experiments on both ConvDFSMN and Wav2letter models. Results demonstrate the models can be effectively optimized with the proposed pipeline. Especially, Wav2letter achieves 1.48* speedup with an approximate 0.07% WER decrease on ARMv7-based mobile devices.

研究の動機と目的

• 低計算量対メモリアクセス比に起因する、モバイルデプロイされたConv1DベースのASRモデルにおける性能ボトルネックを解消すること。
• 量子化とWinograd畳み込みを組み合わせた際の精度オーバーフローおよび情報損失を克服すること。
• 量子化と高速畳み込み技術を統合することで、モバイルデバイス上で効率的かつ低レイテンシの推論を実現すること。
• 提案された最適化パイプラインの恩恵を受けることができる、モバイル最適化されたASRモデル（ConvDFSMN）を設計すること。
• エンドツーエンドの学習と最適化により、最小限の精度低下で高速推論を達成すること。

提案手法

• Winograd変換におけるオーバーフローを防ぐために、量子化された数値範囲を拡張するRange-Scaled Quantization（RSQ）学習を提案する。
• 低精度量子化に起因する精度損失を最小限に抑えるために、微調整段階で量子化ノイズ損失関数を導入する。
• Winogradドメインにおける効率的なハダマード積への置換により、標準的な畳み込みをWinograd畳み込みに置き換える。
• Winogradドメインで完全な整数ハダマード乗算を用いることで、モバイルデバイス上でのINT8 Winograd推論を高速化する。
• RSQ微調整とINT8 Winograd最適化を統合した、モバイルデプロイに適した統一パイプラインを構築する。
• 効率性と量子化耐性に優れた、新しいConv1D搭載のDFSMNモデル（ConvDFSMN）を設計する。

実験結果

リサーチクエスチョン

• RQ1 INT8量子化とWinograd畳み込みを組み合わせることで、精度オーバーフローもしくは性能低下を回避して効果的に実現可能か？
• RQ2 標準的な後学習量子化（PTQ）と比較して、Range-Scaled Quantization（RSQ）は量子化後のモデル精度をどのように向上させるか？
• RQ3 微調整段階における量子化ノイズの最小化が、INT8 Winograd高速化後の最終的なASR性能に与える影響は何か？
• RQ4 提案されたパイプラインは、ARMv7モバイルデバイス上での推論レイテンシをどの程度低減可能か？
• RQ5 実世界のASRモデルにおいて、標準的なINT8 GEMMおよびPTQベースのWinogradと比較して、本手法のスピードアップと精度性能はどのように差異を示すか？

主な発見

• 提案されたRSQ学習手法により、量子化誤差が低減され、Winograd変換におけるオーバーフローが防止され、安定的なINT8 Winograd推論が可能になった。
• Wav2letterモデルでは、ARMv7ベースのモバイルデバイス上での推論で1.48倍の高速化が達成され、WERはわずか0.07%増加にとどまった。
• ConvDFSMN-sモデルは、RSQ微調整後にAishell-1で10.52%のWERを達成し、パラメータ数が少ないにもかかわらず、Wav2letter（13.71% WER）を上回った。
• INT8 Winogradは、すべてのConv1Dカーネルサイズで一貫した高速化を実現し、Wav2letterの15×1カーネルでは最大1.3倍の高速化が観察された。
• RSQ手法により、後学習量子化におけるキャリブレーションセットの必要性が排除され、量子化パイプラインが簡素化された。
• ConvDFSMN（1024次元フィルタ）では、Conv1D演算のレイテンシが最大24%（0.881msから0.710ms）低減された。