[论文解读] IMS-Speech: A Speech to Text Tool

Pavel Denisov, Ngoc Thang Vu|arXiv (Cornell University)|Aug 13, 2019

Speech Recognition and Synthesis参考文献 28被引用 9

一句话总结

IMS-Speech 是一个免费的基于网络的英语和德语语音转写工具，使非技术研究人员能够使用最先进的自动语音识别（ASR）技术转录语音录音。它结合了语音活动检测（SAD）系统与使用注意力机制和CTC损失的混合端到端ASR模型，在多种数据集上实现了具有竞争力的词错误率（WER），在某些基准测试中甚至优于专用系统。

ABSTRACT

We present the IMS-Speech, a web based tool for German and English speech transcription aiming to facilitate research in various disciplines which require accesses to lexical information in spoken language materials. This tool is based on modern open source software stack, advanced speech recognition methods and public data resources and is freely available for academic researchers. The utilized models are built to be generic in order to provide transcriptions of competitive accuracy on a diverse set of tasks and conditions.

研究动机与目标

• 为人文和社会科学领域的非技术研究人员提供便捷的语音转写数据访问途径。
• 开发一种通用的、高精度的ASR系统，使其在各种音频条件和任务中均表现良好。
• 通过提供用户友好的网络界面和开源、免费的技术，降低语音转写的技术门槛。
• 使研究人员无需具备语音识别或系统配置的专业知识即可完成语音录音的转写。
• 为未来在特定领域应用中的系统定制化提供支持。

提出的方法

• 使用基于TDNN的语音活动检测（SAD）系统进行语音分割，结合统计池化方法以实现长上下文建模。
• SAD系统通过GMM基语音模型的强制对齐输出与无约束解码输出的加权组合进行训练。
• 端到端ASR采用基于注意力机制的编码器-解码器架构，损失函数结合交叉熵与连接时序分类（CTC）损失。
• 模型利用注意力机制将输入的声学特征与输出的词序列对齐，实现音频与文本之间灵活的对齐。
• 推理过程中，通过加权对数和规则将CTC与注意力概率相结合，获得最终转录结果。
• 采用CPU和GPU上的批处理推理方式，在不降低词错误率（WER）的前提下提升处理速度。

实验结果

研究问题

• RQ1 通用的、基于网络的ASR工具是否能在多样化的语音领域和录音条件下实现具有竞争力的转录准确率？
• RQ2 与特定任务的系统相比，通用ASR系统在基准数据集上的表现如何？
• RQ3 与仅使用注意力机制相比，混合CTC-注意力损失在多大程度上提升了ASR性能？
• RQ4 在转录准确率方面，IMS-Speech系统与Google Cloud Speech-to-Text等商业API相比表现如何？
• RQ5 用户友好的开源网络界面是否能有效降低非技术研究人员使用语音转写技术的入门门槛？

主要发现

• 在WSJ eval'92数据集上，IMS-Speech的WER为3.8%，在LibriSpeech test-clean数据集上为4.4%，在部分基准测试中优于当前最先进结果。
• 在LibriSpeech test-other数据集上，IMS-Speech的WER为12.7%，优于文献中报告的最佳系统所达到的7.6%。
• 对于德语，IMS-Speech在Tuda-De dev集上的WER为11.1%，在Tuda-De test集上为12.0%，优于先前工作中报告的13.1%和14.4%。
• 在Verbmobil 1测试集上，IMS-Speech的WER为7.3%，优于先前研究中报告的12.7%。
• 在所有测试数据集中，IMS-Speech显著优于Google Cloud Speech-to-Text：在LibriSpeech test-clean上WER为4.3% vs. 15.9%，在Tuda-De test上为10.0% vs. 12.4%。
• 在GPU上使用批处理推理将实时因子从单CPU的14.2降低至0.3，显著提升处理速度，且未影响WER。