[论文解读] Dual Language Models for Code Mixed Speech Recognition

Saurabh Garg, Tanmay Parekh+1 more|arXiv (Cornell University)|Nov 3, 2017

Speech Recognition and Synthesis参考文献 18被引用 9

一句话总结

本文通过引入一种基于概率切换机制的双语语言模型方法，将两种单语语言模型（中文和英文）结合，用于代码混用语音识别，在无需外部数据的情况下，显著提升了中文-英文对话语料库上的困惑度和自动语音识别错误率，优于标准的双语语言模型。

ABSTRACT

In this work, we present a simple and elegant approach to language modeling for bilingual code-switched text. Since code-switching is a blend of two or more different languages, a standard bilingual language model can be improved upon by using structures of the monolingual language models. We propose a novel technique called dual language models, which involves building two complementary monolingual language models and combining them using a probabilistic model for switching between the two. We evaluate the efficacy of our approach using a conversational Mandarin-English speech corpus. We prove the robustness of our model by showing significant improvements in perplexity measures over the standard bilingual language model without the use of any external information. Similar consistent improvements are also reflected in automatic speech recognition error rates.

研究动机与目标

• 为解决在自然对话中语言交错混用的双语代码混用语音建模挑战。
• 在标准双语语言模型之外，提升对代码混用文本的语言建模能力。
• 开发一种方法，利用单语语言模型结构，而无需依赖外部语言资源。
• 在真实世界的中文-英文对话语音语料库上评估该方法。
• 在困惑度和自动语音识别性能两方面均实现稳定提升。

提出的方法

• 分别构建两个独立的单语语言模型，每个语言对应一个（如中文和英文），使用单语数据进行训练。
• 引入一种概率切换机制，用于建模在每个词元处发生语言切换的可能性。
• 基于切换概率，使用加权混合方式结合两个单语模型的输出。
• 使用代码混用文本数据端到端训练双语语言模型，以最小化困惑度为目标。
• 将联合模型作为语言模型集成到自动语音识别系统中。
• 将该模型应用于对话式中文-英文语音语料库，以评估其性能。

实验结果

研究问题

• RQ1 通过概率切换机制结合两个单语语言模型，能否提升代码混用语言建模性能？
• RQ2 与标准双语语言模型相比，该双语语言模型是否能更有效地降低困惑度？
• RQ3 该双语语言模型在代码混用语音中，能否显著降低自动语音识别错误率？
• RQ4 该模型是否能在不依赖外部语言信息或标注的情况下实现更优性能？
• RQ5 该双语语言模型在不同代码混用模式的对话语音中是否具备良好鲁棒性？

主要发现

• 与标准双语语言模型相比，该双语语言模型在中文-英文代码混用语料库上显著降低了困惑度。
• 该模型在不使用任何外部语言信息的情况下，实现了自动语音识别错误率的持续改进。
• 性能提升在对话语音中的各种代码混用模式下均表现稳健。
• 概率切换机制能有效捕捉自然代码混用文本中的语言转换。
• 由于单语先验的强表达能力，该方法即使在低资源环境下也优于标准双语模型。
• 结果表明，利用单语模型结构可显著提升代码混用语言建模性能，超越简单的双语混合方法。