[论文解读] Automatic Spoken Language Identification using a Time-Delay Neural Network

Benjamin Kepecs, Homayoon Beigi|arXiv (Cornell University)|Jan 1, 2022

Speech Recognition and Synthesis被引用 2

一句话总结

本文提出了一种基于时间延迟神经网络（TDNN）的方法，利用多语言自动语音识别（ASR）管道实现自动语音语言识别。通过利用基于Kaldi的系统生成的带有语言特异性前缀的音素对齐结果，该方法通过多数投票机制预测语言，在西班牙语和阿拉伯语上达到高准确率，法语和土耳其语上达到中等准确率。

ABSTRACT

Closed-set spoken language identification is the task of recognizing the language being spoken in a recorded audio clip from a set of known languages. In this study, a language identification system was built and trained to distinguish between Arabic, Spanish, French, and Turkish based on nothing more than recorded speech. A pre-existing multilingual dataset was used to train a series of acoustic models based on the Tedlium TDNN model to perform automatic speech recognition. The system was provided with a custom multilingual language model and a specialized pronunciation lexicon with language names prepended to phones. The trained model was used to generate phone alignments to test data from all four languages, and languages were predicted based on a voting scheme choosing the most common language prepend in an utterance. Accuracy was measured by comparing predicted languages to known languages, and was determined to be very high in identifying Spanish and Arabic, and somewhat lower in identifying Turkish and French.

研究动机与目标

• 开发一种低资源、端到端的语音语言识别系统，利用现有ASR工具和多语言数据。
• 评估语言前缀化和音素对齐投票在封闭集场景下语言分类的有效性。
• 评估在语音和语调特征差异较大的多种语言（阿拉伯语、西班牙语、法语、土耳其语）上的性能表现。
• 探索在对ASR模型进行最小架构修改的前提下，将其适配用于语言识别的可行性。
• 研究该方法在实时语码转换检测应用中的潜力。

提出的方法

• 在MediaSpeech数据集上微调基于Kaldi的Tedlium TDNN模型，用于多语言语音识别。
• 构建了自定义的多语言语言模型和发音词典，将语言名称作为前缀添加到音素前。
• 使用训练好的ASR系统为测试语音样本生成音素对齐结果。
• 通过在每个语音样本中对对齐音素的语言前缀进行多数投票来预测语言。
• 使用标准准确率指标，在多个测试集上与真实标签对比评估性能表现。
• 探索架构简化和替代模型（如前馈网络）以提升效率并支持实时部署。

实验结果

研究问题

• RQ1 能否有效复用带有语言前缀音素的预训练ASR系统，实现语音语言识别？
• RQ2 基于投票的语言预测方法在阿拉伯语、西班牙语、法语和土耳其语等语言多样性语言中的表现如何？
• RQ3 该系统在未见过的口音（如非洲口音法语或突尼斯阿拉伯语）上的泛化能力如何？
• RQ4 能否通过利用音素级别的语言标签，将该方法适配为实时语码转换检测？
• RQ5 模型简化对低资源环境中准确率和推理速度的影响有多大？

主要发现

• 该系统在识别西班牙语和阿拉伯语方面表现出高准确率，表明其在具有明显语音和语调特征的语言上性能优异。
• 法语和土耳其语的性能较低，表明在语音库存或语调模式相似的语言之间区分存在挑战。
• 该模型对口音变化表现出鲁棒性，尤其在检测非洲口音法语时表现良好，尽管准确率有所下降。
• 使用语言前缀音素并结合对齐音素的多数投票机制，无需重新训练声学模型即可有效实现语言分类。
• 简化TDNN架构可减少训练时间和资源消耗，从而支持在实时应用（如语码转换检测）中的部署。
• 通过利用带时间戳的音素对齐结果识别语音中语言前缀的转换，该方法在扩展至语码转换检测方面展现出潜力。