[论文解读] Jira: a Kurdish Speech Recognition System Designing and Building Speech Corpus and Pronunciation Lexicon

Hadi Veisi, Hawre Hosseini+3 more|arXiv (Cornell University)|Feb 15, 2021

Speech Recognition and Synthesis参考文献 19被引用 5

一句话总结

本论文提出了Jira，这是首个面向中库尔德语的大词汇量语音识别系统，通过在受控环境和众包环境中从576名说话者中构建一个43.68小时的语音语料库，并建立一个60,000词的发音词典。利用Kaldi工具包，该系统在多样化主题上的词错误率（WER）达到13.9%，在通用主题上达到4.9%，采用SGMM声学模型，标志着为库尔德语自然语言处理资源奠定了基础。

ABSTRACT

In this paper, we introduce the first large vocabulary speech recognition system (LVSR) for the Central Kurdish language, named Jira. The Kurdish language is an Indo-European language spoken by more than 30 million people in several countries, but due to the lack of speech and text resources, there is no speech recognition system for this language. To fill this gap, we introduce the first speech corpus and pronunciation lexicon for the Kurdish language. Regarding speech corpus, we designed a sentence collection in which the ratio of di-phones in the collection resembles the real data of the Central Kurdish language. The designed sentences are uttered by 576 speakers in a controlled environment with noise-free microphones (called AsoSoft Speech-Office) and in Telegram social network environment using mobile phones (denoted as AsoSoft Speech-Crowdsourcing), resulted in 43.68 hours of speech. Besides, a test set including 11 different document topics is designed and recorded in two corresponding speech conditions (i.e., Office and Crowdsourcing). Furthermore, a 60K pronunciation lexicon is prepared in this research in which we faced several challenges and proposed solutions for them. The Kurdish language has several dialects and sub-dialects that results in many lexical variations. Our methods for script standardization of lexical variations and automatic pronunciation of the lexicon tokens are presented in detail. To setup the recognition engine, we used the Kaldi toolkit. A statistical tri-gram language model that is extracted from the AsoSoft text corpus is used in the system. Several standard recipes including HMM-based models (i.e., mono, tri1, tr2, tri2, tri3), SGMM, and DNN methods are used to generate the acoustic model. These methods are trained with AsoSoft Speech-Office and AsoSoft Speech-Crowdsourcing and a combination of them. The best performance achieved by the SGMM acoustic model which results in 13.9% of the average word error rate (on different document topics) and 4.9% for the general topic.

研究动机与目标

• 为讲3000多万人的中库尔德语解决语音和文本资源匮乏的问题。
• 设计一个具有代表性的双音素分布的语音语料库，以反映真实中库尔德语语音的特征。
• 开发一个标准化的、大规模的发音词典，涵盖库尔德语方言间的词汇差异。
• 利用最先进的自动语音识别（ASR）技术，构建并评估一个中库尔德语大词汇量语音识别系统（LVSR）。
• 通过创建可重用的语音和语言资源，为库尔德语建立基础自然语言处理基础设施。

提出的方法

• 设计句子集合时，匹配真实中库尔德语数据中的双音素频率，以确保语言代表性。
• 通过两种方式收集了576名说话者的43.68小时语音数据：AsoSoft Speech-Office（受控环境，无噪声）和AsoSoft Speech-Crowdsourcing（通过Telegram使用手机众包）。
• 构建了一个测试集，涵盖11个文档主题，分别在办公室和众包条件下录制，以实现稳健的评估。
• 使用文本标准化技术构建了一个60,000词的发音词典，以解决库尔德语方言间的词汇差异。
• 应用自动发音建模技术，为词典条目生成音素转写。
• 使用Kaldi工具包训练了多种声学模型（基于HMM的：单音素、三音素1–3；SGMM；DNN），结合了两种语音采集方式的数据。

实验结果

研究问题

• RQ1 如何在最小环境噪声和真实世界可变性条件下，大规模收集具有语言代表性的中库尔德语语音语料？
• RQ2 哪些方法能有效标准化文本变体，并为大规模词典生成跨库尔德语方言的准确发音？
• RQ3 结合受控和众包语音数据对中库尔德语大词汇量语音识别系统性能有何影响？
• RQ4 在中库尔德语语音识别中，哪种声学建模方法（如SGMM、DNN）能实现最低的词错误率？
• RQ5 基于AsoSoft文本语料训练的语言模型在多样化主题上的识别性能提升程度如何？

主要发现

• AsoSoft Speech-Office和AsoSoft Speech-Crowdsourcing数据集共同提供了来自576名说话者的43.68小时高质量、多样化的语音数据。
• 使用SGMM声学模型，在11个不同文档主题上的平均词错误率达到13.9%。
• 在通用主题上，词错误率降至4.9%，表明系统在广泛、非特定领域的语音上表现优异。
• 通过文本标准化和自动发音建模成功构建了60,000词的发音词典，克服了方言差异带来的挑战。
• SGMM模型优于HMM和DNN基线模型，证明其在低资源库尔德语语音识别中的有效性。
• 将基于AsoSoft文本语料训练的三元语言模型集成后，显著提升了系统在各类主题上的识别鲁棒性。