[论文解读] Data augmentation using prosody and false starts to recognize non-native children's speech

Hemant Kumar Kathania, Mittul Singh+2 more|arXiv (Cornell University)|Aug 29, 2020

Speech Recognition and Synthesis参考文献 20被引用 15

一句话总结

本文提出了一种数据增强方法，用于提升非母语儿童语音识别的性能，结合基于语调的音频增强与语言模型中的部分词噪声，以应对数据稀缺和重复开始（false starts）问题。系统在后处理评估改进后，词错误率（WER）达到17.99%，在INTERSPEECH 2020联合任务中排名第三。

ABSTRACT

This paper describes AaltoASR's speech recognition system for the INTERSPEECH 2020 shared task on Automatic Speech Recognition (ASR) for non-native children's speech. The task is to recognize non-native speech from children of various age groups given a limited amount of speech. Moreover, the speech being spontaneous has false starts transcribed as partial words, which in the test transcriptions leads to unseen partial words. To cope with these two challenges, we investigate a data augmentation-based approach. Firstly, we apply the prosody-based data augmentation to supplement the audio data. Secondly, we simulate false starts by introducing partial-word noise in the language modeling corpora creating new words. Acoustic models trained on prosody-based augmented data outperform the models using the baseline recipe or the SpecAugment-based augmentation. The partial-word noise also helps to improve the baseline language model. Our ASR system, a combination of these schemes, is placed third in the evaluation period and achieves the word error rate of 18.71%. Post-evaluation period, we observe that increasing the amounts of prosody-based augmented data leads to better performance. Furthermore, removing low-confidence-score words from hypotheses can lead to further gains. These two improvements lower the ASR error rate to 17.99%.

研究动机与目标

• 解决由于转录数据有限及自发性语音现象导致的低资源、非母语儿童语音识别挑战。
• 克服9至16岁儿童在不同年龄组之间的语音差异以及非母语发音模式带来的声学变异性。
• 提升语音识别系统对重复开始和部分词语的鲁棒性，这些现象在测试集中有明确转录，但在训练中未出现。
• 开发一种无需外部资源即可增强声学建模与语言建模组件的数据增强策略。
• 在INTERSPEECH 2020联合任务中实现非母语儿童语音识别的最先进性能。

提出的方法

• 采用基于语调的数据增强方法，利用基于TSM的算法调整音高和语速，以模拟不同年龄组的语音差异。
• 将基于语调的增强与SpecAugment进行对比，发现基于语调的方法更能捕捉儿童语音的变异性。
• 通过将现有词语拆分为片段的方式，在语言模型语料中引入部分词噪声，以模拟重复开始现象。
• 使用增强后的音频数据训练声学模型，并将这些模型与在原始、未归一化及带噪声文本上训练的插值语言模型相结合。
• 实施置信度分数过滤机制，从语音识别假设中移除低置信度词语，减少非英语或不连贯输出带来的错误。
• 通过集成解码方法组合多个系统（如SR2-P2 + 置信度过滤），进一步降低WER。

实验结果

研究问题

• RQ1 基于语调的数据增强是否能在识别非母语儿童语音方面优于标准的SpecAugment？
• RQ2 在语言模型语料中引入部分词噪声，对识别重复开始和不连贯表达的语音识别性能有何影响？
• RQ3 增加基于语调增强的数据量是否能带来一致的性能提升？与SpecAugment的扩展方式相比如何？
• RQ4 置信度分数过滤是否能通过移除低可靠性假设来降低WER，特别是在非英语或片段化词语上？
• RQ5 在低资源、非母语儿童语音识别场景下，何种数据增强与过滤技术的组合能实现最低的WER？

主要发现

• 在评估期间，使用基于语调增强数据训练的声学模型优于基线模型或使用SpecAugment的模型，WER达到18.71%。
• 增加基于语调增强的数据量带来了持续的性能提升，而增加SpecAugment数据量则导致性能下降，表明可能存在过拟合或增强不匹配问题。
• 在语言模型中引入部分词噪声，提升了插值语言模型的性能，尤其在组合系统设置中表现更优。
• 置信度分数过滤机制通过移除低置信度词语，有效降低了WER，在后处理评估实验中最终错误率降至17.99%。
• 结合SR2-P2增强、带噪声语言模型与置信度过滤的联合系统，实现了最低的WER 17.99%，证明了多组件数据增强的有效性。
• 所提出的基于语调的增强与重复开始模拟技术已公开发布，支持可复现性及未来儿童语音识别研究。