[论文解读] Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching

Chia-Yu Li, Ngoc Thang Vu|arXiv (Cornell University)|Dec 19, 2021

Speech Recognition and Synthesis参考文献 23被引用 4

一句话总结

本文提出了一种通过非语言符号合并、分层语言识别、子词建模、语速调制和数据增强整合语言知识的端到端中文-英文代码切换语音识别系统。最佳组合系统相较于基线模型将混合错误率相对降低了35%，并在SEAME语料库上优于最先进的混合TDNN-HMM系统。

ABSTRACT

Code-Switching (CS) is a common linguistic phenomenon in multilingual communities that consists of switching between languages while speaking. This paper presents our investigations on end-to-end speech recognition for Mandarin-English CS speech. We analyse different CS specific issues such as the properties mismatches between languages in a CS language pair, the unpredictable nature of switching points, and the data scarcity problem. We exploit and improve the state-of-the-art end-to-end system by merging nonlinguistic symbols, by integrating language identification using hierarchical softmax, by modeling sub-word units, by artificially lowering the speaking rate, and by augmenting data using speed perturbed technique and several monolingual datasets to improve the final performance not only on CS speech but also on monolingual benchmarks in order to make the system more applicable on real life settings. Finally, we explore the effect of different language model integration methods on the performance of the proposed model. Our experimental results reveal that all the proposed techniques improve the recognition performance. The best combined system improves the baseline system by up to 35% relatively in terms of mixed error rate and delivers acceptable performance on monolingual benchmarks.

研究动机与目标

• 为解决中文-英文代码切换语音识别中的挑战，包括语言属性不匹配、不可预测的切换点以及数据稀缺问题。
• 通过将语言知识整合到模型架构和训练过程中，提升端到端ASR性能。
• 评估各种知识整合技术及其组合在代码切换和单语基准上的有效性。
• 研究不同语言模型融合策略对最终识别准确率的影响。
• 开发一种鲁棒且适用于真实场景的ASR系统，能够处理自发性多语言语音。

提出的方法

• 将非语言符号（如话语停顿、犹豫词）合并到ASR词汇表中，以改善对语用和语调特征的识别。
• 采用分层Softmax集成语言识别，以在解码过程中引导语言特定的预测。
• 使用子词单元（如BPE）对英文单词进行建模，以处理未登录词并提升泛化能力。
• 在训练过程中人为降低语速，以改善对快速语音的对齐并减少错误。
• 应用语速扰动，并与单语数据集结合进行数据增强，以提升模型鲁棒性和覆盖范围。
• 通过浅层融合和冷融合方法融合外部语言模型，以纠正语言边界错误并提升语言流畅性。

实验结果

研究问题

• RQ1 中文与英文之间的语言属性不匹配在代码切换场景下如何影响端到端ASR性能？
• RQ2 将语言识别集成到预测头中，在多大程度上能提升对切换点的识别能力？
• RQ3 子词建模在识别代码切换语句中罕见或未登录英文词方面有何影响？
• RQ4 数据增强技术（包括语速扰动和单语数据混合）对模型泛化能力有何影响？
• RQ5 在纠正语言边界错误方面，哪种语言模型融合方法——浅层融合（SF）还是冷融合（CF）——表现更优？

主要发现

• 最佳组合系统E2ESW+3W+F3在SEAME测试集上达到25.0%的混合错误率，相较于基线模型实现了35%的相对改进。
• 使用带额外语言学标注的标签2数据（label 2 data）可将同一测试集上的错误率进一步降低至23.7%。
• 通过浅层融合（SF）和冷融合（CF）进行语言模型融合显著提升了性能，尽管在某些情况下CF的自动指标略逊于SF，但其在人工评估中表现更优。
• 子词建模、语速调制与数据增强的组合在所有测试集（包括单语基准）中均持续提升了识别效果。
• 所提出的系统优于最先进的TDNN-HMM混合系统，在使用语言模型融合时达到22.0%的MER，而混合基线模型为29.7%。
• 外部语言模型能有效纠正如将'take'误识别为'带'、'apply'误识别为'ply'等错误，证明其在处理模糊或发音相似的代码切换词方面具有重要价值。