[论文解读] Adaptation of Whisper models to child speech recognition
本文研究了在儿童语音上微调多语言Whisper ASR模型，以提升识别性能。结果表明，将Whisper在儿童语音上微调后，其ASR性能相比原始模型有显著提升，尽管在儿童数据上微调的自监督wav2vec2模型性能优于两种Whisper变体。
Automatic Speech Recognition (ASR) systems often struggle with transcribing child speech due to the lack of large child speech datasets required to accurately train child-friendly ASR models. However, there are huge amounts of annotated adult speech datasets which were used to create multilingual ASR models, such as Whisper. Our work aims to explore whether such models can be adapted to child speech to improve ASR for children. In addition, we compare Whisper child-adaptations with finetuned self-supervised models, such as wav2vec2. We demonstrate that finetuning Whisper on child speech yields significant improvements in ASR performance on child speech, compared to non finetuned Whisper models. Additionally, utilizing self-supervised Wav2vec2 models that have been finetuned on child speech outperforms Whisper finetuning.
研究动机与目标
- 解决由于标注儿童语音数据集有限，导致儿童语音ASR性能较差的挑战。
- 研究预训练的多语言ASR模型（如Whisper）是否能通过有限的微调数据有效适应儿童语音。
- 对比微调后的Whisper模型与在相同儿童语音数据上微调的自监督模型（如wav2vec2）在儿童语音识别中的性能表现。
- 评估在低资源环境下，从成人语音预训练迁移至儿童语音适应的有效性。
提出的方法
- 在精心筛选的儿童语音数据集上微调预训练的Whisper base和large模型，以使其适应儿童语音特征。
- 使用用于预训练Whisper的现有大规模成人语音数据集作为初始模型权重。
- 在相同儿童语音数据上对自监督wav2vec2模型进行微调，以进行性能对比评估。
- 在微调过程中应用标准ASR训练流程，包括频谱增强（spec-augmentation）、初始值学习率调度和早停策略。
- 使用标准ASR指标（如在保留的儿童语音测试集上的词错误率WER）评估所有模型。
- 通过尽可能使用相同的超参数和数据划分方式，确保公平比较。
实验结果
研究问题
- RQ1与原始预训练模型相比，是否能在儿童语音上微调Whisper模型，显著提升其ASR性能？
- RQ2在相同儿童语音数据上微调后，微调后的Whisper性能与自监督wav2vec2模型相比如何？
- RQ3当在有限的儿童数据上进行微调时，从成人语音预训练中迁移学习对儿童语音识别的益处有多大？
- RQ4模型架构与预训练数据分布对儿童语音识别准确率的相对影响是什么？
主要发现
- 在儿童语音上微调Whisper可显著降低词错误率（WER），相比未微调的base模型。
- 微调后的Whisper模型在儿童语音上的表现显著优于原始Whisper模型，证明其能有效适应儿童语音特征。
- 在WER指标上，微调后的自监督wav2vec2模型优于原始Whisper和微调后的Whisper模型。
- Whisper与wav2vec2之间的性能差距凸显了在儿童特定数据上进行自监督预训练对下游ASR任务的优势。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。