[论文解读] An Empirical Study of Efficient ASR Rescoring with Transformers

Hongzhao Huang, Fuchun Peng|arXiv (Cornell University)|Oct 24, 2019

Topic Modeling参考文献 30被引用 8

一句话总结

本文提出了一种高效的方法，通过结合子词分词、自适应Softmax、大规模预训练和知识蒸馏，训练小型高性能Transformer语言模型，用于自动语音识别（ASR）重排序。该方法在仅使用其参数量5.5%至11.9%的情况下，实现了6.46%至7.17%的相对词错误率降低，性能与参数量大得多的GPT模型相当，显著降低了推理延迟和计算成本。

ABSTRACT

Neural language models (LMs) have been proved to significantly outperform classical n-gram LMs for language modeling due to their superior abilities to model long-range dependencies in text and handle data sparsity problems. And recently, well configured deep Transformers have exhibited superior performance over shallow stack of recurrent neural network layers for language modeling. However, these state-of-the-art deep Transformer models were mostly engineered to be deep with high model capacity, which makes it computationally inefficient and challenging to be deployed into large-scale real-world applications. Therefore, it is important to develop Transformer LMs that have relatively small model sizes, while still retaining good performance of those much larger models. In this paper, we aim to conduct empirical study on training Transformers with small parameter sizes in the context of ASR rescoring. By combining techniques including subword units, adaptive softmax, large-scale model pre-training, and knowledge distillation, we show that we are able to successfully train small Transformer LMs with significant relative word error rate reductions (WERR) through n-best rescoring. In particular, our experiments on a video speech recognition dataset show that we are able to achieve WERRs ranging from 6.46% to 7.17% while only with 5.5% to 11.9% parameter sizes of the well-known large GPT model [1], whose WERR with rescoring on the same dataset is 7.58%.

研究动机与目标

• 开发小型高效Transformer语言模型，以在ASR重排序中保持强大性能。
• 在不牺牲识别准确率的前提下，减小模型尺寸并降低推理延迟。
• 探索使最先进的Transformer语言模型在实际应用中大规模部署成为可能的技术。
• 评估知识蒸馏和预训练在提升小型模型性能方面的有效性。

提出的方法

• 使用小词汇量（5K、10K、25K）的字节对编码（BPE）来减小模型尺寸并处理未登录词。
• 应用自适应Softmax，通过为高频和低频词分配不同容量，降低输出层的计算成本。
• 在大规模领域内文本上训练大型预训练教师模型，以改善初始表征学习。
• 在领域内ASR数据上微调教师模型，以增强领域特定性能。
• 使用知识蒸馏，将大型教师模型的知识迁移至小型学生模型。
• 结合所有技术，训练出紧凑的Transformer语言模型，在n-best重排序中实现高性能。

实验结果

研究问题

• RQ1 与大型模型相比，参数量减少的小型Transformer语言模型是否能实现具有竞争力的ASR重排序性能？
• RQ2 子词单元和自适应Softmax在减小模型尺寸的同时，对性能的保持效果如何？
• RQ3 大规模预训练和知识蒸馏在ASR重排序中对小型模型性能的提升程度如何？
• RQ4 在小型Transformer语言模型中，模型尺寸、推理速度与词错误率降低之间的权衡关系如何？

主要发现

• 参数量仅为大型GPT模型5.5%至11.9%的小型Transformer语言模型，在视频语音识别数据集上实现了6.46%至7.17%的相对词错误率降低。
• 使用5K或10K BPE词汇表并结合自适应Softmax，使小型模型的模型尺寸最大减少61%，且性能下降可忽略不计。
• 从预训练并微调的教师模型进行知识蒸馏，使10K和5K词汇表的困惑度分别降低11.8%和12.7%，并进一步提升了词错误率表现。
• 大规模预训练使10K和5K词汇表的困惑度分别降低20.7%和12.7%，即使在使用领域内数据的情况下也证明了其有效性。
• 子词单元、自适应Softmax、预训练和蒸馏的结合，使小型模型在显著降低计算成本的前提下，达到了与远大于其规模的模型相当的性能。
• 与大型Transformer语言模型相比，使用5K或10K BPE词汇表的小型模型在CPU上的推理速度提升了7.6倍至8.4倍。