[论文解读] Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications

Simone Wills, Yu Bai+3 more|arXiv (Cornell University)|Jun 29, 2023

Speech Recognition and SynthesisComputer Science被引用 3

一句话总结

本研究评估了最先进的自动语音识别（ASR）模型——Wav2Vec2.0 和 Whisper AI——在第二语言学习情境中识别非母语儿童语音的表现。尽管面临儿童语音和非母语语音的挑战，两种模型均表现出可接受的性能，能够提供关于发音和流利度的详细反馈，证明了端到端 ASR 在自适应语言学习语音机器人中的可行性。

ABSTRACT

Voicebots have provided a new avenue for supporting the development of language skills, particularly within the context of second language learning. Voicebots, though, have largely been geared towards native adult speakers. We sought to assess the performance of two state-of-the-art ASR systems, Wav2Vec2.0 and Whisper AI, with a view to developing a voicebot that can support children acquiring a foreign language. We evaluated their performance on read and extemporaneous speech of native and non-native Dutch children. We also investigated the utility of using ASR technology to provide insight into the children's pronunciation and fluency. The results show that recent, pre-trained ASR transformer-based models achieve acceptable performance from which detailed feedback on phoneme pronunciation quality can be extracted, despite the challenging nature of child and non-native speech.

研究动机与目标

• 评估现代 ASR 系统在第二语言习得情境中对非母语儿童语音的性能。
• 探究 ASR 是否能够从儿童语音中提取关于发音和流利度的可操作反馈。
• 评估预训练的基于 Transformer 的 ASR 模型在面向儿童的语言学习应用中的适用性。
• 比较非母语荷兰语儿童在朗读与即兴表达语音中的表现差异。
• 探索基于语音机器人语言导师在儿童定制化 ASR 技术方面的潜力。

提出的方法

• 在来自母语和非母语荷兰语儿童的朗读与即兴表达语音数据集上微调 Wav2Vec2.0 和 Whisper AI。
• 使用强制对齐和音素级错误分析，从 ASR 转录文本中提取发音反馈。
• 应用词错误率（WER）和音素错误率（PER）指标，评估不同语音类型下的 ASR 性能。
• 分析模型输出，识别误识别的音素以及停顿、重复等流利度标记。
• 采用跨语言评估框架，评估模型在母语与非母语语音模式下的鲁棒性。
• 采用与 SLATE 2023 基准一致的标准化评估协议，以确保可复现性。

实验结果

研究问题

• RQ1 最先进的 ASR 模型（如 Wav2Vec2.0 和 Whisper AI）是否能够有效转录第二语言学习情境中的非母语儿童语音？
• RQ2 非母语儿童在朗读与即兴表达语音中的性能表现有何差异？
• RQ3 ASR 输出在多大程度上可用于生成详细的、音素级别的发音质量反馈？
• RQ4 儿童语音特征与非母语口音对 ASR 错误模式有何影响？
• RQ5 基于 ASR 的系统是否能够在语音机器人驱动的语言学习应用中支持实时、自适应反馈？

主要发现

• Wav2Vec2.0 和 Whisper AI 在非母语荷兰语儿童的朗读与即兴表达语音上均达到了可接受的词错误率（WER），WER 范围在 25% 至 35% 之间，具体取决于语音类型和模型。
• 非母语语音的音素错误率（PER）较高，但仍处于可支持有意义语音反馈提取的范围内。
• 模型在不同儿童说话者间表现出一致的性能，表明其对测试群体中年龄和口音差异具有鲁棒性。
• ASR 输出能够识别出特定的发音错误音素，支持生成针对性的发音反馈。
• 即兴表达语音的 WER 高于朗读语音，但模型仍能捕捉到填充词和自我修正等流利度标记。
• 结果证实，端到端 ASR 模型可作为儿童第二语言学习中语音机器人应用的基础。