[论文解读] English Conversational Telephone Speech Recognition by Humans and Machines

George Saon, Gakuto Kurata+10 more|arXiv (Cornell University)|Mar 6, 2017

Speech Recognition and Synthesis被引用 4

一句话总结

本论文提出了一种新型混合系统，结合深度残差网络（ResNets）、双向LSTM与多特征融合，以及包含WaveNet风格卷积和字符级LSTM的先进语言模型，在Hub5 2000评估的Switchboard/CallHome子集上实现了5.5%/10.3%的新SOTA词错误率。此外，通过独立的人工转录实验并实施质量控制，本研究挑战了先前关于人类水平性能的宣称，发现人类在Switchboard上的实际表现（5.1% WER）低于此前报告的水平，为未来研究设定了更具挑战性的基准。

ABSTRACT

One of the most difficult speech recognition tasks is accurate recognition of human to human communication. Advances in deep learning over the last few years have produced major speech recognition improvements on the representative Switchboard conversational corpus. Word error rates that just a few years ago were 14% have dropped to 8.0%, then 6.6% and most recently 5.8%, and are now believed to be within striking range of human performance. This then raises two issues - what IS human performance, and how far down can we still drive speech recognition error rates? A recent paper by Microsoft suggests that we have already achieved human performance. In trying to verify this statement, we performed an independent set of human performance measurements on two conversational tasks and found that human performance may be considerably better than what was earlier reported, giving the community a significantly harder goal to achieve. We also report on our own efforts in this area, presenting a set of acoustic and language modeling techniques that lowered the word error rate of our own English conversational telephone LVCSR system to the level of 5.5%/10.3% on the Switchboard/CallHome subsets of the Hub5 2000 evaluation, which - at least at the writing of this paper - is a new performance milestone (albeit not at what we measure to be human performance!). On the acoustic side, we use a score fusion of three models: one LSTM with multiple feature inputs, a second LSTM trained with speaker-adversarial multi-task learning and a third residual net (ResNet) with 25 convolutional layers and time-dilated convolutions. On the language modeling side, we use word and character LSTMs and convolutional WaveNet-style language models.

研究动机与目标

• 提升在Hub5 2000 Switchboard与CallHome测试集上的英语对话电话语音识别性能。
• 通过独立的人工转录实验并实施质量控制，重新评估人类在语音识别中的表现。
• 探究当前自动语音识别（ASR）系统是否已在对话语音任务中达到或超越人类水平性能。
• 开发并集成先进的声学与语言建模技术，推动低资源对话语音识别的SOTA进展。
• 评估训练-测试数据重叠以及对话风格差异（陌生人 vs. 朋友/家人）对ASR与人类性能的影响。

提出的方法

• 采用混合声学模型，结合25层空洞残差网络（ResNet）与时间空洞卷积、多特征输入的双向LSTM，以及说话人对抗的多任务学习LSTM。
• 通过融合三个不同声学模型的得分，提升在Hub5 2000测试集上的鲁棒性与准确性。
• 集成多种语言模型：词级别与字符级别的LSTM，以及带有残差连接的WaveNet风格卷积语言模型。
• 使用五种语言模型（包括model-M与word-LSTM-MTL）的线性插值对n-best词 lattice 进行重打分，以优化转录输出。
• 对参考转录与系统输出应用过滤规则（如去除句号、非词汇词、标点符号），以确保与NIST sclite评分标准一致。
• 使用保留数据进行超参数与学习率调优，采用ADAM优化，并通过层间学习率协调的自稳定机制。

实验结果

研究问题

• RQ1 Hub5 2000 Switchboard与CallHome测试集上人类的真实词错误率（WER）是多少？与先前估计相比如何？
• RQ2 训练数据重叠（如共享说话人）在多大程度上会虚增Switchboard测试集上的ASR性能？这对人类水平性能的感知有何影响？
• RQ3 不同语言建模架构——尤其是LSTM与WaveNet风格卷积——在对话语音识别中对降低WER的贡献如何？
• RQ4 在声学建模中结合残差网络、空洞卷积与多任务学习，是否能显著提升低资源对话语音识别的性能？
• RQ5 考虑到Switchboard与CallHome之间对话风格的差异，当前ASR性能是否真正接近或超越了人类水平？

主要发现

• 经过质量检查后，表现最佳的人工转录员在Switchboard测试集上的词错误率为5.1%，显著低于先前研究报道的5.9%，挑战了人类水平性能的宣称。
• CallHome测试集上的人类表现测定为6.8% WER，远优于先前文献报道的11.3%，表明CallHome任务比以往认为的更具挑战性。
• 所提出的ASR系统在Switchboard上实现了5.5%的新SOTA WER，在CallHome上为10.3%，优于以往系统，树立了新基准。
• 五种语言模型（包括word-LSTM-MTL与卷积WaveNet风格LM）的组合使Switchboard上的WER降低至5.5%，CallHome上为10.3%，其中多任务学习在CallHome上贡献最大。
• 采用25层残差网络（ResNets）与空洞卷积的声学建模在性能上优于以往基于VGG的模型，尤其在捕捉长距离依赖方面表现更优。
• 从参考转录与系统输出中移除句号后，部分测试集（如DEV’04f）的WER有所改善（例如7.1%），表明参考转录中不一致的标点符号惯例会影响评分与模型评估。