[论文解读] Kurdish (Sorani) Speech to Text: Presenting an Experimental Dataset

Akam Qader, Hossein Hassani|arXiv (Cornell University)|Nov 29, 2019

Linguistics and Cultural Studies参考文献 1被引用 4

一句话总结

本论文介绍了 BD-4SK-ASR，这是首个用于索拉尼库尔德语自动语音识别（ASR）的实验性数据集，基于伊拉克库尔德斯坦地区小学一至三年级教科书中的200个核心句子构建。该数据集基于CMUSphinx框架开发，包含34个音素集合、2,000个合成句子、转录文本、语音朗读文件（16位、单声道、16 kHz），以及语言模型，为一种此前无ASR资源的低资源语言提供了基础ASR研究支持。

ABSTRACT

We present an experimental dataset, Basic Dataset for Sorani Kurdish Automatic Speech Recognition (BD-4SK-ASR), which we used in the first attempt in developing an automatic speech recognition for Sorani Kurdish. The objective of the project was to develop a system that automatically could recognize simple sentences based on the vocabulary which is used in grades one to three of the primary schools in the Kurdistan Region of Iraq. We used CMUSphinx as our experimental environment. We developed a dataset to train the system. The dataset is publicly available for non-commercial use under the CC BY-NC-SA 4.0 license.

研究动机与目标

• 为解决索拉尼库尔德语这一低资源语言缺乏语音资源的紧迫问题，该语言此前无ASR系统。
• 开发一个基础数据集，用于训练和评估索拉尼库尔德语的自动语音识别系统。
• 通过使用成熟且易于获取的CMUSphinx框架，支持在库尔德语ASR领域开展初步实验。
• 为未来扩展至更大语料库及其他库尔德语方言奠定基础。
• 通过在CC BY-NC-SA 4.0许可下发布数据集，推动开放科学，供非商业研究使用。

提出的方法

• 该数据集从伊拉克库尔德斯坦地区小学一至三年级的索拉尼库尔德语教科书中共提取了200个句子。
• 定义了一个自定义的34个音素集合，以准确表示索拉尼库尔德语的发音，并与波斯-阿拉伯字母字符对齐。
• 通过随机重组200个基础句子，生成了2,000个合成句子，以提高词汇重复率和训练覆盖范围。
• 在安静环境中，由单一说话人使用Audacity录制音频，采样率为16 kHz，16位，单声道，并应用了降噪处理。
• 使用定义的音素集合创建转录文本，并将其整合为CMUSphinx兼容格式，用于声学模型训练。
• 使用CMUSphinx构建语言模型，采用固定折扣法（0.5）和基于比例的回退策略，包含283个一元语法、5,337个二元语法和6,935个三元语法。

实验结果

研究问题

• RQ1 能否利用来自基础教育材料的小型精选数据集，为索拉尼库尔德语开发一个基础ASR系统？
• RQ2 在低资源库尔德语语言环境下，使用CMUSphinx训练ASR系统的可行性如何？
• RQ3 基于200个基础句子生成的2,000个合成句子数据集，在支持初始ASR训练方面效果如何？
• RQ4 在ASR流程中，为准确表示索拉尼库尔德语，需要哪些语音和语言学组件？
• RQ5 开放的非商业数据集如何加速像索拉尼库尔德语这类资源匮乏语言技术的研究？

主要发现

• BD-4SK-ASR数据集以CC BY-NC-SA 4.0许可公开发布，支持非商业研究和开发工作。
• 该数据集包含34个音素集合、以音素格式表示的转录文本，以及2,000个音频文件，采样率为16 kHz，16位，单声道，背景噪声极低。
• 语言模型包含283个一元语法、5,337个二元语法和6,935个三元语法，支持基于n-gram的语言建模，实现句子级识别。
• 所有录音均使用单一说话人录制，确保了一致性，但限制了泛化能力，凸显了未来研究中引入多说话人数据的必要性。
• 该数据集为索拉尼库尔德语ASR提供了首个基准，为未来扩展至更大、更多样化的语料库奠定了基础。
• 作者确认此前无关于库尔德语ASR的文献，因此本研究是该领域首次实验性尝试。