[论文解读] Direct Acoustics-to-Word Models for English Conversational Speech Recognition

Kartik Audhkhasi, Bhuvana Ramabhadran+3 more|arXiv (Cornell University)|Mar 22, 2017

Speech Recognition and Synthesis参考文献 22被引用 22

一句话总结

本论文首次在Switchboard和CallHome基准上实现了直接从声学信号到词汇的CTC模型，无需语言模型或解码器，分别取得了13.0%和18.8%的WER。该工作引入了音素CTC初始化和GloVe嵌入以改善训练，表明在70%的语音片段中，词汇CTC模型可达到与音素CTC模型相当的性能，同时实现更快的推理速度。

ABSTRACT

Recent work on end-to-end automatic speech recognition (ASR) has shown that the connectionist temporal classification (CTC) loss can be used to convert acoustics to phone or character sequences. Such systems are used with a dictionary and separately-trained Language Model (LM) to produce word sequences. However, they are not truly end-to-end in the sense of mapping acoustics directly to words without an intermediate phone representation. In this paper, we present the first results employing direct acoustics-to-word CTC models on two well-known public benchmark tasks: Switchboard and CallHome. These models do not require an LM or even a decoder at run-time and hence recognize speech with minimal complexity. However, due to the large number of word output units, CTC word models require orders of magnitude more data to train reliably compared to traditional systems. We present some techniques to mitigate this issue. Our CTC word model achieves a word error rate of 13.0%/18.8% on the Hub5-2000 Switchboard/CallHome test sets without any LM or decoder compared with 9.6%/16.0% for phone-based CTC with a 4-gram LM. We also present rescoring results on CTC word model lattices to quantify the performance benefits of a LM, and contrast the performance of word and phone CTC models.

研究动机与目标

• 在Switchboard和CallHome等标准公开基准上评估直接从声学信号到词汇的CTC模型。
• 探究在缺乏大规模数据或外部语言模型的情况下，词汇CTC模型是否能表现良好。
• 缩小词汇CTC与传统音素基CTC系统在数据量和训练复杂度上的差距。
• 比较词汇CTC与音素CTC模型在错误类型和解码效率方面的差异。
• 探索可提升有限数据环境下词汇CTC训练收敛性和性能的技术。

提出的方法

• 训练端到端的CTC模型，直接将原始声学特征映射到词序列，跳过音素或字符中间表示。
• 使用预训练的音素CTC BLSTM模型和分层CTC对词汇CTC模型进行初始化，以改善优化过程。
• 在最终全连接层中引入GloVe词嵌入，以注入词共现统计信息并提升泛化能力。
• 使用四元语言模型进行词 lattice 重打分，以评估语言模型集成对词汇CTC输出的影响。
• 采用共识lattice构建方法，为每帧提取top-k假设用于重打分。
• 应用声学对数后验概率并结合词对数先验归一化，以提升lattice质量。

实验结果

研究问题

• RQ1 直接从声学信号到词汇的CTC模型是否能在不使用语言模型或解码器的情况下，在Switchboard和CallHome标准基准上取得有竞争力的性能？
• RQ2 随着训练数据量的增加，词汇CTC模型的性能如何变化？对WER和OOV率有何影响？
• RQ3 音素CTC初始化和GloVe嵌入等技术在多大程度上能提升词汇CTC训练的收敛性和准确性？
• RQ4 词汇CTC与音素CTC模型在错误类型（替换、删除、插入）上存在哪些差异？
• RQ5 使用语言模型进行lattice重打分能否缩小词汇CTC与音素CTC系统之间的性能差距？

主要发现

• 词汇CTC模型在Hub5-2000 Switchboard上达到13.0%的WER，在CallHome上达到18.8%，且未使用任何语言模型或解码器。
• 词汇CTC（13.0%/18.8%）与使用四元语言模型的音素CTC（9.6%/16.0%）之间的性能差距分别为3.4和2.8个百分点。
• 使用大型语言模型进行lattice重打分后，Switchboard和CallHome的WER分别降低了0.5和0.8个百分点。
• 词汇CTC lattice 的最优WER分别为6.8%（Switchboard）和11.4%（CallHome），表明仍有较大提升空间。
• 在72.1%的Switchboard和74.9%的CallHome测试语音中，词汇CTC系统的错误数与音素CTC系统相等或更少。
• 当训练数据从300小时增加到2000小时时，词汇CTC模型的相对WER改善为7.8%/11.6%，显著高于音素CTC模型的4.3%/8.7%，归因于更好的数据利用效率和更低的OOV率。