[论文解读] A language model based approach towards large scale and lightweight language identification systems

Brij Mohan Lal Srivastava, Hari Krishna Vydana+2 more|arXiv (Cornell University)|Oct 13, 2015

Speech Recognition and Synthesis参考文献 6被引用 4

一句话总结

该论文提出了一种轻量级、可扩展的语言识别（LID）系统，该系统利用语音序列中的高级音系模式，而非低级声学特征。通过使用语言无关的音素识别器，结合统计语言模型（SRILM）和循环神经网络语言模型（RNNLM），该方法在176种语言上实现了平均87.69%的准确率，表现出对语音变异性的鲁棒性，并具备在大规模部署中所需的计算效率。

ABSTRACT

Multilingual spoken dialogue systems have gained prominence in the recent past necessitating the requirement for a front-end Language Identification (LID) system. Most of the existing LID systems rely on modeling the language discriminative information from low-level acoustic features. Due to the variabilities of speech (speaker and emotional variabilities, etc.), large-scale LID systems developed using low-level acoustic features suffer from a degradation in the performance. In this approach, we have attempted to model the higher level language discriminative phonotactic information for developing an LID system. In this paper, the input speech signal is tokenized to phone sequences by using a language independent phone recognizer. The language discriminative phonotactic information in the obtained phone sequences are modeled using statistical and recurrent neural network based language modeling approaches. As this approach, relies on higher level phonotactical information it is more robust to variabilities of speech. Proposed approach is computationally light weight, highly scalable and it can be used in complement with the existing LID systems.

研究动机与目标

• 开发一种计算高效且可扩展的LID系统，适用于大规模多语言应用。
• 通过建模高级音系信息而非低级声学特征，提升对语音变异（如说话人、情绪等）的鲁棒性。
• 探索基于音素序列的语言建模（SRILM与RNNLM）作为现有基于声学的LID系统补充方法的可行性。
• 评估PRLM（音素识别器 + 语言模型）流水线在包含176种语言的大规模多语言数据集上的性能与可扩展性。

提出的方法

• 使用语言无关的音素识别器将原始语音信号转换为音素序列，降低对语言特定声学建模的依赖。
• 通过SRILM应用统计语言建模，为每种语言建模音素序列上的n-gram分布。
• 在相同音素序列上训练循环神经网络语言模型（RNNLM），并通过调整隐藏层大小和将词汇离散化为6–100类来优化超参数。
• 最优RNNLM配置采用6个输出类和40个隐藏单元，支持最多4步的时间反向传播。
• 通过在测试语音上选择产生最低句子级困惑度的语言模型执行语言识别。
• 在包含每种语言375个语音的176种语言数据集上训练和评估模型，其中300个用于训练，30个用于验证，45个用于测试。

实验结果

研究问题

• RQ1 与基于低级声学特征建模相比，通过音素序列建模音系模式是否能提升LID性能？
• RQ2 在大规模LID中，SRILM n-gram模型与RNNLM在准确率和计算成本方面的表现如何比较？
• RQ3 为最大化LID准确率，RNNLM超参数（如输出类数、隐藏层大小）的最优配置是什么？
• RQ4 所提出的基于PRLM的系统能否在支持176种语言的同时实现高效扩展，同时保持高准确率和低计算开销？
• RQ5 通过模型插值等方式组合多个语言模型，是否能将LID性能提升至超过单个模型的性能？

主要发现

• 采用6个输出类和40个隐藏单元的RNNLM在全部176种语言上实现了最高平均准确率87.69%。
• 表现最佳的RNNLM在Dangaleat语言上达到93.33%的峰值准确率，显示出强大的语言特异性区分能力。
• SRILM三元语法模型实现了85.45%的平均准确率，显著优于一元语法（46.53%）和二元语法（81.77%）模型。
• n-gram模型的性能从一元语法到三元语法显著提升，而六元语法模型性能略有下降，表明三元语法之后收益递减。
• 6类RNNLM优于100类RNNLM，表明最优词汇离散化（约√|V|）可提升性能。
• 该系统在各类语言上表现稳定，最低准确率为77.77%，最高为93.33%，表明其具备鲁棒性和泛化能力。