[论文解读] A Survey of Multilingual Models for Automatic Speech Recognition

Hemant Kumar Yadav, Sunayana Sitaram|arXiv (Cornell University)|Feb 25, 2022

Speech Recognition and Synthesis被引用 15

一句话总结

本综述回顾了利用跨语言迁移和自监督学习（SSL）来提升低资源语言自动语音识别（ASR）性能的多语言自动语音识别（ASR）模型。通过在多样化的未标注语音数据上进行预训练，并使用有限的标注数据进行微调，这些模型在多种语言上均取得了显著性能提升，尤其是在预训练阶段包含语言上相关或多样化的语言集合时效果更佳。

ABSTRACT

Although Automatic Speech Recognition (ASR) systems have achieved human-like performance for a few languages, the majority of the world's languages do not have usable systems due to the lack of large speech datasets to train these models. Cross-lingual transfer is an attractive solution to this problem, because low-resource languages can potentially benefit from higher-resource languages either through transfer learning, or being jointly trained in the same multilingual model. The problem of cross-lingual transfer has been well studied in ASR, however, recent advances in Self Supervised Learning are opening up avenues for unlabeled speech data to be used in multilingual ASR models, which can pave the way for improved performance on low-resource languages. In this paper, we survey the state of the art in multilingual ASR models that are built with cross-lingual transfer in mind. We present best practices for building multilingual models from research across diverse languages and techniques, discuss open questions and provide recommendations for future work.

研究动机与目标

• 解决由于缺乏转录语音数据而导致的低资源语言自动语音识别（ASR）性能差距。
• 探究多语言ASR模型在高资源和低资源设置下是否优于单语言模型。
• 研究自监督学习（SSL）和未标注数据在提升低资源语言ASR性能中的作用。
• 识别利用迁移学习和多样化预训练数据构建高效多语言ASR模型的最佳实践。
• 指出当前开放挑战，并为多语言ASR的未来研究提供指导，特别是针对极低资源语言和代表性不足的语言家族。

提出的方法

• 将多语言ASR模型分类为仅使用标注数据训练的模型，以及使用自监督预训练后在标注数据上进行微调的模型。
• 通过评估在不同资源水平的语言（包括零样本和少样本设置）上的模型性能，分析跨语言迁移效果。
• 评估预训练数据多样性（使用多种语言或语言上相关的语言）对下游ASR准确率的影响。
• 评估模型架构、多语言设置中的语言数量以及语言相似性对迁移性能的影响。
• 研究预训练和微调数据之间的领域差异，及其对模型泛化能力的影响。
• 通过在多样化语言家族和不同数据集规模上的基准评估，衡量模型的鲁棒性和可扩展性。

实验结果

研究问题

• RQ1 多语言ASR模型在高资源和低资源语言上的ASR准确率是否优于单语言模型？
• RQ2 在大量未标注语音数据上进行自监督预训练，能否提升低资源语言的ASR性能？
• RQ3 哪些因素（如预训练中的语言多样性、模型容量或语言相似性）会影响多语言ASR中跨语言迁移的成功？
• RQ4 微调所需的最少标注数据量是多少，才能在低资源语言上实现有意义的性能提升？
• RQ5 在仅拥有数小时转录数据的极低资源语言上扩展多语言ASR时，主要挑战和开放问题是什么？

主要发现

• 在多样化未标注语音数据上使用自监督学习进行预训练的多语言ASR模型，即使目标语言未出现在预训练集中，也能在低资源语言上实现性能提升。
• 与仅使用英语等单一语言进行预训练相比，在包含目标语言相关语言的多样化语言集合上进行预训练，能取得更好的性能，即使总数据量相同。
• 在模型足够大且深度足够以处理多语言能力的前提下，模型中语言数量越多，性能提升越明显。
• 微调需要一定量的标注数据才能实现性能提升；尽管经过预训练，仅拥有数小时数据的极低资源语言仍具挑战性。
• 当语言相似时，跨语言迁移更有效；在相似语言之间共享解码器的性能优于在差异较大的语言家族之间共享。
• 自监督预训练具有跨领域泛化能力，即使预训练和微调数据来自不同领域，也能提升性能，但若模型容量不足，高资源语言的性能可能略有下降。