[论文解读] Are E2E ASR models ready for an industrial usage?

Valentin Vielzeuf, Grigory Antipov|arXiv (Cornell University)|Dec 9, 2021

Speech Recognition and Synthesis被引用 7

一句话总结

本文在多个真实语音领域中，针对端到端（E2E）自动语音识别（ASR）模型与混合基线模型进行了评估，结果表明现代E2E模型——尤其是Citrinet变体——在准确率（更低的词错误率，WER）和计算效率（更快的训练和推理速度）方面均优于混合系统，且对输入分段的敏感性极低。研究结论认为，泛化能力和高计算成本已不再是工业部署E2E ASR的主要障碍。

ABSTRACT

The Automated Speech Recognition (ASR) community experiences a major turning point with the rise of the fully-neural (End-to-End, E2E) approaches. At the same time, the conventional hybrid model remains the standard choice for the practical usage of ASR. According to previous studies, the adoption of E2E ASR in real-world applications was hindered by two main limitations: their ability to generalize on unseen domains and their high operational cost. In this paper, we investigate both above-mentioned drawbacks by performing a comprehensive multi-domain benchmark of several contemporary E2E models and a hybrid baseline. Our experiments demonstrate that E2E models are viable alternatives for the hybrid approach, and even outperform the baseline both in accuracy and in operational efficiency. As a result, our study shows that the generalization and complexity issues are no longer the major obstacle for industrial integration, and draws the community's attention to other potential limitations of the E2E approaches in some specific use-cases.

研究动机与目标

• 评估端到端（E2E）ASR模型是否能够克服两大工业部署障碍：跨领域泛化能力差和计算成本过高。
• 在使用真实语音数据的多领域设置下，对当前主流E2E模型（Conformer、Citrinet、CRDNN）和混合基线模型进行基准测试。
• 在贴近工业实际的场景中，评估模型的准确率（词错误率，WER）和运行效率（训练时间、推理速度、内存占用）。
• 研究语音活动检测（VAD）对E2E模型性能的影响，比较使用与不使用分段的情况。
• 确定E2E模型是否需要复杂的语言模型，还是仅使用贪婪解码即可实现稳健性能。

提出的方法

• 采用六个多样化数据集开展全面的多领域基准测试：Franglish、LibriSpeech-clean、LibriSpeech-other、SwitchBoard、TED-LIUM和WSJ。
• 在相同条件下训练并评估多种E2E架构（小型和中型Conformer、Citrinet、CRDNN）以及标准混合ASR模型。
• 使用词错误率（WER）衡量性能，分别采用贪婪解码和n-gram语言模型（3-gram）解码。
• 通过CPU和GPU上的倒数实时因子（iRTF）报告计算成本，并追踪训练时间与参数数量。
• 通过对比原始未分段音频、真实标注分段以及三种现成VAD系统（SpeechBrain、Nemo、Silero）的结果，开展VAD的消融研究。
• 采用最先进的E2E架构，包括Conformer（自注意力与卷积层结合）、Citrinet（轻量级卷积模型）和CRDNN（循环结构），均使用CTC损失函数。

实验结果

研究问题

• RQ1 现代E2E ASR模型在多样化的现实语音领域中是否具备良好的泛化能力，还是在标准基准之外仍表现不如混合模型？
• RQ2 在多领域评估设置下，E2E模型能否在准确率和计算成本方面均优于当前工业标准（混合ASR）？
• RQ3 语言模型的引入如何影响E2E模型的性能，是否对实现稳健识别是必需的？
• RQ4 E2E模型对高质量语音分段（VAD）的依赖程度如何，能否有效处理原始未分段音频？
• RQ5 哪种E2E架构在准确率、推理速度和内存占用之间提供了最佳平衡，适合工业部署？

主要发现

• Citrinet-small模型在所有六个领域中使用贪婪解码的总体WER为14.9%，优于混合基线模型（20.0% WER），并达到或超过更大模型的性能。
• 除CRDNN外，所有E2E模型的训练时间均显著短于混合模型，其中Citrinet-small在4块2080 Ti GPU上仅用7天完成训练。
• Citrinet-small在GPU上处理一小时语音耗时不足一秒（iRTF ≈ 0.8），推理效率显著优于Conformer和CRDNN。
• Conformer（小型）模型在贪婪解码下总体WER为14.3%，使用3-gram语言模型后降至12.6%，表现强劲，但计算成本高于Citrinet。
• E2E模型对VAD质量的敏感性极低：无论使用真实标注分段还是完全无分段，WER仅变化±0.2 WER点以内。
• 尽管CRDNN参数量高达120M且计算成本高昂，其性能仍逊于更小的E2E模型，总体WER为15.1%（贪婪解码）和13.2%（使用语言模型）。