[论文解读] Model Adaptation for ASR in low-resource Indian Languages

Abhayjeet Singh, Arjun Mehta+18 more|arXiv (Cornell University)|Jul 16, 2023

Speech Recognition and Synthesis被引用 5

一句话总结

该论文提出了一种模型适配框架 MADASR，通过利用自监督学习和来自相似、资源更丰富的语言的跨语言迁移，提升低资源印度语言（如孟加拉语和博杰普里语）的自动语音识别（ASR）性能。基于自有的 1,100 小时博杰普里语和方言化孟加拉语语音数据，该方法表明，通过有限的文本和语音数据微调预训练的声学模型——尤其是利用共享的语言结构——可显著提升低资源环境下的 ASR 性能。

ABSTRACT

Automatic speech recognition (ASR) performance has improved drastically in recent years, mainly enabled by self-supervised learning (SSL) based acoustic models such as wav2vec2 and large-scale multi-lingual training like Whisper. A huge challenge still exists for low-resource languages where the availability of both audio and text is limited. This is further complicated by the presence of multiple dialects like in Indian languages. However, many Indian languages can be grouped into the same families and share the same script and grammatical structure. This is where a lot of adaptation and fine-tuning techniques can be applied to overcome the low-resource nature of the data by utilising well-resourced similar languages. In such scenarios, it is important to understand the extent to which each modality, like acoustics and text, is important in building a reliable ASR. It could be the case that an abundance of acoustic data in a language reduces the need for large text-only corpora. Or, due to the availability of various pretrained acoustic models, the vice-versa could also be true. In this proposed special session, we encourage the community to explore these ideas with the data in two low-resource Indian languages of Bengali and Bhojpuri. These approaches are not limited to Indian languages, the solutions are potentially applicable to various languages spoken around the world.

研究动机与目标

• 解决在印度语言中，特别是语音和文本数据有限的方言（如孟加拉语和博杰普里语）中低资源自动语音识别（ASR）的挑战。
• 通过利用共享的语言特征（如文字系统、语法）和来自相似语言的预训练模型，克服方言变体中的数据稀缺问题。
• 探究在资源有限的情况下，语音数据与文本数据在减少对大规模转录语料依赖方面的相对重要性。
• 开发并发布一个包含多种方言的自有语音语料库，涵盖博杰普里语和五种孟加拉语方言，以支持未来低资源 ASR 的研究。
• 通过迁移学习和数据高效适配，构建稳健且具备方言感知能力的 ASR 系统，实现为文盲群体提供基于语音的数字访问。

提出的方法

• 使用 wav2vec2 等自监督学习（SSL）模型作为低资源 ASR 的基础声学编码器。
• 在自有的博杰普里语（1,100 小时）和五种孟加拉语方言的有限语音数据上微调预训练的 SSL 模型。
• 通过从资源丰富的语言向具有共享文字系统和语法结构的低资源方言迁移知识，实现跨语言适应。
• 利用可用的文本数据构建 n-gram 语言模型，以改善低资源环境下的语言建模。
• 实施针对北方邦、比哈尔邦、西孟加拉邦及邻近地区方言差异（如口音、词汇、音系）的方言特异性数据收集策略。
• 采用多方言评估设置，以评估模型在孟加拉语和博杰普里语各区域变体中的泛化能力和性能表现。

实验结果

研究问题

• RQ1 自监督学习模型在有限语音数据上能否被有效微调，从而在低资源印度语言中实现稳健的 ASR？
• RQ2 在低资源 ASR 中，语音数据的可用性与文本数据相比，对减少对大规模转录语料依赖的影响如何？
• RQ3 能否通过利用具有共享文字系统和语法结构的相似、资源更丰富的语言进行跨语言迁移，显著提升低资源方言的 ASR 性能？
• RQ4 方言特异性数据收集对孟加拉语和博杰普里语区域变体中 ASR 模型性能与泛化能力的影响是什么？
• RQ5 在预训练声学模型微调时，结合自有语音语料库与 n-gram 语言模型在提升 ASR 准确性方面的有效性如何？

主要发现

• 所提出的 MADASR 框架通过在有限的方言特异性语音数据上针对性地微调自监督模型，显著提升了低资源印度语言（如孟加拉语和博杰普里语）的 ASR 性能。
• 尽管语言资源有限，1,100 小时的自有博杰普里语语音数据的使用仍能实现有意义的模型适配。
• 通过利用相似语言之间共享的语言特征（如德维纳加里文字、语法结构）进行跨语言适应，可显著降低有效 ASR 训练对数据的依赖。
• 研究表明，具备方言感知能力的数据收集与模型微调可显著提升孟加拉语和博杰普里语区域变体中的 ASR 准确性。
• 将 n-gram 语言模型与微调后的 SSL 声学模型结合，可增强识别性能，尤其在低资源环境中效果显著。
• 结果表明，根据模型架构和适配策略的不同，语音数据的丰富程度可在一定程度上补偿文本数据的不足，反之亦然。