[论文解读] Effectiveness of Mining Audio and Text Pairs from Public Data for Improving ASR Systems for Low-Resource Languages

Kaushal Santosh Bhogale, Abhigyan Raman+5 more|arXiv (Cornell University)|Aug 26, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出从全印度广播电台的公开档案中挖掘高质量的音视频对，以构建一个包含6,457小时多语言自动语音识别（ASR）数据集Shrutilipi，涵盖12种印度语言。通过将Needleman-Wunsch算法改进以对齐OCR转录文本与CTC对齐的ASR输出，该方法在面对OCR错误和未转录的音频片段时仍能实现稳健对齐，从而在微调Wav2Vec模型时，使IndicSUPERB基准测试的平均词错误率（WER）降低5.8%。

ABSTRACT

End-to-end (E2E) models have become the default choice for state-of-the-art speech recognition systems. Such models are trained on large amounts of labelled data, which are often not available for low-resource languages. Techniques such as self-supervised learning and transfer learning hold promise, but have not yet been effective in training accurate models. On the other hand, collecting labelled datasets on a diverse set of domains and speakers is very expensive. In this work, we demonstrate an inexpensive and effective alternative to these approaches by ``mining'' text and audio pairs for Indian languages from public sources, specifically from the public archives of All India Radio. As a key component, we adapt the Needleman-Wunsch algorithm to align sentences with corresponding audio segments given a long audio and a PDF of its transcript, while being robust to errors due to OCR, extraneous text, and non-transcribed speech. We thus create Shrutilipi, a dataset which contains over 6,400 hours of labelled audio across 12 Indian languages totalling to 4.95M sentences. On average, Shrutilipi results in a 2.3x increase over publicly available labelled data. We establish the quality of Shrutilipi with 21 human evaluators across the 12 languages. We also establish the diversity of Shrutilipi in terms of represented regions, speakers, and mentioned named entities. Significantly, we show that adding Shrutilipi to the training set of Wav2Vec models leads to an average decrease in WER of 5.8\% for 7 languages on the IndicSUPERB benchmark. For Hindi, which has the most benchmarks (7), the average WER falls from 18.8% to 13.5%. This improvement extends to efficient models: We show a 2.3% drop in WER for a Conformer model (10x smaller than Wav2Vec). Finally, we demonstrate the diversity of Shrutilipi by showing that the model trained with it is more robust to noisy input.

研究动机与目标

• 为低资源印度语言在自动语音识别（ASR）任务中解决大规模、多样化且高质量标注音频数据匮乏的问题。
• 开发一种可扩展且稳健的方法，从全印度广播简报等公开、非结构化档案中挖掘音频与文本对。
• 评估所挖掘数据集在提升ASR性能方面的有效性，涵盖多种基准测试，包括噪声环境和高效模型架构。
• 证明从公开数据中挖掘可显著缩小端到端ASR系统中高资源语言与低资源语言之间的性能差距。

提出的方法

• 该方法使用ASR系统（IndicWav2Vec）处理来自全印度广播电台的长时音频简报，为音频片段生成CTC对齐的字符序列。
• 通过OCR从PDF转录文本中提取文本，随后进行文本清理，以处理格式、元数据和未转录内容。
• 应用改进的Needleman-Wunsch算法，将转录的文本片段与对应音频片段对齐，通过为插入、删除和不匹配设置惩罚，以应对OCR错误和语音异常。
• 对齐过程通过聚焦音频与文本间高相似度句子对，优化以容忍未转录语音、背景音乐和语码转换。
• 最终生成的数据集Shrutilipi包含超过6,400小时的音频和12种印度语言中的495万条句子，并由21名人工标注员进行了严格的质量评估。
• 通过在多个基准上微调Wav2Vec和Conformer模型，评估Shrutilipi的有效性，包括清晰和噪声环境。

实验结果

研究问题

• RQ1 能否有效从公开的、非结构化的音视频档案中挖掘数据，以构建用于低资源语言ASR的高质量、大规模训练数据？
• RQ2 当面临OCR错误、未转录语音和格式不一致时，改进的Needleman-Wunsch算法在对齐音频与文本片段方面的有效性如何？
• RQ3 与现有公开数据集相比，将Shrutilipi中挖掘的数据加入后，对低资源印度语言ASR性能的提升程度如何？
• RQ4 在真实部署场景中，使用Shrutilipi进行训练是否能增强模型对噪声输入的鲁棒性？

主要发现

• Shrutilipi包含12种印度语言的6,457小时标注音频，平均比现有公开数据集多出2.3倍的训练数据。
• 人工评估确认了数据集的高质量，21名来自12种语言的评估员均评定该数据集可靠且能代表不同地区和语言变体的多样性。
• 在IndicSUPERB基准测试中，微调Wav2Vec模型后，7种印度语言的平均词错误率（WER）相对降低5.8%，其中印地语的WER从18.8%降至13.5%。
• 即使对于比Wav2Vec小10倍的Conformer模型，使用Shrutilipi训练后也实现了2.3%的绝对WER降低，证明其在高效架构上的有效性。
• 在添加ESC数据集背景噪声的困难基准测试中，Shrutilipi训练的模型平均WER降低5.9%，表明其对噪声输入具有更强的鲁棒性。
• 数据集在说话人、地区和命名实体方面的多样性得到验证，其在分布外和噪声测试集上的表现优于使用更小、更少多样性的数据训练的模型。