[论文解读] Fully Quantizing a Simplified Transformer for End-to-end Speech Recognition

Alex Bie, Bharat Venkitesh+3 more|arXiv (Cornell University)|Nov 9, 2019

Speech Recognition and Synthesis参考文献 13被引用 6

一句话总结

本文提出了一种简化且完全量化化的Transformer模型，用于端到端语音识别，显著减小了模型尺寸并实现了边缘设备部署。通过移除非必要模块并应用8位定点量化，作者在保持全精度性能的前提下实现了4倍的模型压缩。

ABSTRACT

While significant improvements have been made in recent years in terms of end-to-end automatic speech recognition (ASR) performance, such improvements were obtained through the use of very large neural networks, unfit for embedded use on edge devices. That being said, in this paper, we work on simplifying and compressing Transformer-based encoder-decoder architectures for the end-to-end ASR task. We empirically introduce a more compact Speech-Transformer by investigating the impact of discarding particular modules on the performance of the model. Moreover, we evaluate reducing the numerical precision of our network's weights and activations while maintaining the performance of the full-precision model. Our experiments show that we can reduce the number of parameters of the full-precision model and then further compress the model 4x by fully quantizing to 8-bit fixed point precision.

研究动机与目标

• 开发一种紧凑且高效的Transformer架构，适用于端到端语音识别中的边缘设备部署。
• 研究从Transformer编码器-解码器架构中移除特定模块对语音识别性能的影响。
• 评估通过全8位定点量化降低数值精度对模型准确率的影响。
• 在不牺牲识别性能的前提下实现显著的模型压缩。

提出的方法

• 作者通过移除某些注意力机制或前馈层等非必要组件，对Transformer进行简化以减少参数量。
• 应用训练后量化，将全精度权重和激活值转换为8位定点表示。
• 在语音识别数据上端到端训练简化后的模型，使用标准损失函数。
• 通过系统性地移除模块并随后将模型完全量化至8位精度，实现模型压缩。
• 使用标准语音识别指标（如基准数据集上的词错误率WER）评估性能。
• 尽管经历了显著压缩，该方法仍保持了全精度性能水平。

实验结果

研究问题

• RQ1 从Transformer中移除特定模块对端到端语音识别性能有何影响？
• RQ2 通过量化可将数值精度降低到何种程度而不降低语音识别准确率？
• RQ3 能否对参数减少的简化版Transformer有效进行8位定点量化，同时保持性能？
• RQ4 通过模块简化和全量化可实现的最大压缩比是多少？

主要发现

• 经过全8位量化后，简化版Transformer模型的模型尺寸实现了4倍压缩。
• 量化后的模型与全精度基线模型具有相同的词错误率（WER）。
• 移除非必要模块在不显著降低性能的前提下减少了参数数量。
• 全8位量化保留了模型准确率，使模型能够在资源受限的边缘设备上部署。
• 架构简化与量化相结合，可在边缘硬件上实现高效、低延迟的推理。
• 该方法表明，通过模型压缩，高精度端到端语音识别在边缘设备上是可行的。