[论文解读] A Wav2vec2-Based Experimental Study on Self-Supervised Learning Methods to Improve Child Speech Recognition

Rishabh Jain, Barcovschi, Andrei+4 more|arXiv (Cornell University)|Apr 6, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

本研究探讨了使用wav2vec2进行自监督预训练以提升儿童语音识别性能，微调时仅使用10小时儿童语音数据。在MyST数据集上实现7.42的SOTA WER，在PFSTAR数据集上实现2.99的SOTA WER，在CMU KIDS数据集上实现12.47的SOTA WER，尽管儿童语音数据有限，仍优于wav2vec2 BASE 960模型。

ABSTRACT

Despite recent advancements in deep learning technologies, Child Speech Recognition remains a challenging task. Current Automatic Speech Recognition (ASR) models require substantial amounts of annotated data for training, which is scarce. In this work, we explore using the ASR model, wav2vec2, with different pretraining and finetuning configurations for self-supervised learning (SSL) toward improving automatic child speech recognition. The pretrained wav2vec2 models were finetuned using different amounts of child speech training data, adult speech data, and a combination of both, to discover the optimum amount of data required to finetune the model for the task of child ASR. Our trained model achieves the best Word Error Rate (WER) of 7.42 on the MyST child speech dataset, 2.99 on the PFSTAR dataset and 12.47 on the CMU KIDS dataset as compared to any other previous methods. Our models outperformed the wav2vec2 BASE 960 on child speech which is considered a state-of-the-art ASR model on adult speech by just using 10 hours of child speech data in finetuning. The analysis of different types of training data and their effect on inference is also provided by using a combination of datasets in pretraining, finetuning and inference.

研究动机与目标

• 为解决自动语音识别（ASR）中儿童语音标注数据稀缺的问题。
• 评估wav2vec2在不同预训练与微调策略下对儿童ASR的有效性。
• 确定微调阶段最优的儿童与成人语音数据量及组合方式。
• 在包括MyST、PFSTAR和CMU KIDS在内的多样化儿童语音数据集上比较模型性能。
• 分析预训练、微调和推理阶段数据构成对模型鲁棒性的影响。

提出的方法

• 使用不同量的儿童语音数据、成人语音数据及混合数据对预训练的wav2vec2模型进行微调。
• 探索预训练、微调和推理阶段不同数据组合的影响，以评估其对性能的影响。
• 通过在大规模未标注语音上进行预训练，然后在有限的标注儿童语音上进行微调，实现自监督学习。
• 采用标准wav2vec2架构，通过对比学习进行预训练，并通过序列到序列微调实现ASR。
• 在多个儿童语音数据集（MyST、PFSTAR和CMU KIDS）上训练模型，并使用标准WER进行评估。
• 通过消融实验分析数据构成与数量，以识别最优的微调配置。

实验结果

研究问题

• RQ1 实现儿童ASR具有竞争力性能所需的最少儿童语音数据量是多少？
• RQ2 在微调阶段将儿童与成人语音数据结合，对儿童语音识别性能有何影响？
• RQ3 预训练、微调和推理阶段的数据构成如何影响儿童语音数据集上的最终WER？
• RQ4 能否通过在成人语音上预训练的wav2vec2模型，仅经过极少微调即在儿童语音上实现SOTA性能？
• RQ5 在预训练和微调阶段使用不同数据集组合，如何影响模型在儿童语音上的泛化能力？

主要发现

• 该模型在MyST儿童语音数据集上实现了SOTA词错误率（WER）7.42。
• 在PFSTAR数据集上实现了2.99的WER，优于先前方法。
• 在CMU KIDS数据集上，该模型实现了12.47的WER，创下新的SOTA基准。
• 该模型在仅使用10小时儿童语音进行微调的情况下，优于在960小时成人语音上预训练的wav2vec2 BASE 960模型。
• 在微调阶段结合儿童与成人语音数据，提升了模型在各数据集上的鲁棒性与泛化能力。
• 分析结果证实，预训练与微调阶段的数据构成显著影响儿童语音识别的推理性能。