[论文解读] Accented Speech Recognition: Benchmarking, Pre-training, and Diverse Data

Alëna Aksënova, Zhehuai Chen+9 more|arXiv (Cornell University)|May 16, 2022

Speech Recognition and Synthesis被引用 12

一句话总结

本文通过在多样化口音语音上基准测试模型，评估了不同数据类型（如合成语音、自发语音、口音语音）对wav2vec 2.0预训练的影响，并调研了代表性不足的语言语料库，推动了包容性自动语音识别（ASR）的发展。结果表明，使用多样化、非母语或带口音的数据进行预训练，可显著降低在带口音语音基准测试中的词错误率（WER），且不会损害标准数据集上的性能，凸显了数据多样性与稳健预训练在实现公平ASR系统中的重要性。

ABSTRACT

Building inclusive speech recognition systems is a crucial step towards developing technologies that speakers of all language varieties can use. Therefore, ASR systems must work for everybody independently of the way they speak. To accomplish this goal, there should be available data sets representing language varieties, and also an understanding of model configuration that is the most helpful in achieving robust understanding of all types of speech. However, there are not enough data sets for accented speech, and for the ones that are already available, more training approaches need to be explored to improve the quality of accented speech recognition. In this paper, we discuss recent progress towards developing more inclusive ASR systems, namely, the importance of building new data sets representing linguistic diversity, and exploring novel training approaches to improve performance for all users. We address recent directions within benchmarking ASR systems for accented speech, measure the effects of wav2vec 2.0 pre-training on accented speech recognition, and highlight corpora relevant for diverse ASR evaluations.

研究动机与目标

• 解决ASR系统中针对带口音和多样化语音缺乏代表性数据和基准的问题。
• 评估不同wav2vec 2.0预训练策略对非母语及地区口音识别性能的影响。
• 识别并调研现有语料库，以体现语言多样性，包括社会方言、非母语说话者及言语障碍者。
• 通过数据驱动的预训练与评估方法，提升对代表性不足语音变体的模型鲁棒性。
• 促进研究人员、语言学家与社区之间的合作，以扩大数据收集规模，提升ASR系统的公平性。

提出的方法

• 使用多个测试集对ASR系统进行基准测试，涵盖非裔美国人英语（AAVE）、非母语英语及地区口音。
• 评估wav2vec 2.0在多样化数据源上的预训练效果：Libri-Light、YT-U（YouTube无监督数据）以及用于口音泛化能力的合成语音。
• 应用噪声学生自训练（NST）方法，在带口音语音数据上微调模型，提升泛化能力，同时不增加标准数据集上的WER。
• 通过性别、地区和语言变体等人口统计与语言学变量分析模型性能，以识别偏见来源。
• 调研并按语言多样性对公开语料库进行分类，包括AAVE、非母语语音、言语障碍及社会方言。
• 通过广泛的元数据标注，实现对语音识别错误在语言与声学维度上的多角度分析。

实验结果

研究问题

• RQ1 wav2vec 2.0在多样化、非母语或带口音数据上进行预训练，对带口音语音基准测试中的ASR性能有何影响？
• RQ2 不同类型的预训练数据——自发语音、合成语音或无监督数据——对非母语及地区口音识别准确率有何影响？
• RQ3 哪些现有语料库最能代表AAVE、非母语说话者及言语障碍者等代表性不足的语言变体，以用于ASR评估？
• RQ4 模型性能在区域、性别和口音等人口统计与语言因素上的差异程度如何？这些差异在基准测试中如何被识别与隔离？
• RQ5 如何通过协作式数据收集与元数据标注，提升ASR系统在多样化语音变体中的公平性与鲁棒性？

主要发现

• 在YT-U无监督数据上进行预训练，将GMU口音测试集的WER降低至4.0%，而使用Libri-Light预训练的WER为5.4%。
• 结合NST方法与YT-U预训练，进一步将GMU口音测试集的WER降至4.0%，CORAAL:ATL的WER降至12.5%，CORAAL:DCB的WER降至14.0%。
• 在合成语音或自发语音上进行预训练，可提升对带口音语音的识别能力，且不增加标准基准测试中的WER，表明模型具备良好的鲁棒性与泛化能力。
• CORAAL语料库显示出AAVE在不同大都市区域间存在显著的区域性差异，WER在16.6%至24.7%之间波动。
• IFCASL、Euphonia及Whitaker语料库为非母语及言语障碍语音提供了关键数据，但覆盖范围仍有限。
• 本研究指出，当前基准测试往往未能体现语言多样性，导致在不同人口统计与语言群体中存在被掩盖的性能差异。