[论文解读] Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge

Guoguo Chen, Xingyu Na+5 more|arXiv (Cornell University)|Nov 9, 2020

Speech Recognition and Synthesis参考文献 21被引用 11

一句话总结

本论文提出了 'Ethiopian' 系统，用于 SLT 2021 儿童语音识别挑战赛，提出了一套全面的数据增强技术，包括音高、节奏、速度、音量和混响扰动，以应对儿童语音训练数据稀缺的问题。该系统基于 ESPnet 的端到端注意力机制编码器-解码器模型，取得了最先进性能：在 Track 2（第一名）上达到 16.53% 的 CER，在 Track 1（挑战赛后分析）上达到 18.82% 的 CER，表明数据增强能显著提升多种工具包和模型架构下儿童语音识别的鲁棒性与性能。

ABSTRACT

This paper presents the "Ethiopian" system for the SLT 2021 Children Speech Recognition Challenge. Various data processing and augmentation techniques are proposed to tackle children's speech recognition problem, especially the lack of the children's speech recognition training data issue. Detailed experiments are designed and conducted to show the effectiveness of each technique, across different speech recognition toolkits and model architectures. Step by step, we explain how we come up with our final system, which provides the state-of-the-art results in the SLT 2021 Children Speech Recognition Challenge, with 21.66% CER on the Track 1 evaluation set (4th place overall), and 16.53% CER on the Track 2 evaluation set (1st place overall). Post-challenge analysis shows that our system actually achieves 18.82% CER on the Track 1 evaluation set, but we submitted the wrong version to the challenge organizer for Track 1.

研究动机与目标

• 解决语音识别系统中儿童语音训练数据有限的挑战。
• 提升模型对儿童语音中声学与语言变异性干扰的鲁棒性。
• 评估多种数据增强技术在多个语音识别工具包（Kaldi 和 ESPnet）及模型架构中的有效性。
• 在 SLT 2021 儿童语音识别挑战赛中实现最先进性能。
• 对数据增强对模型泛化能力与误差减少的影响进行系统性分析。

提出的方法

• 对儿童语音训练数据应用音高扰动、节奏扰动、速度扰动、音量扰动和混响增强，以扩展训练数据。
• 使用 Kaldi 的 chain 模型与 ESPnet 的端到端注意力机制编码器-解码器模型进行对比评估。
• 采用不同参数的数据增强（例如速度与节奏的 0.85–1.15 范围），以模拟多样的说话风格与声音特征。
• 通过消融研究隔离每种增强技术对模型性能的影响。
• 使用增强数据从零开始训练模型，并基于验证损失选取前 8 个最佳检查点进行模型平均。
• 在模型训练前，对训练集与开发集应用文本规范化与分词处理。

实验结果

研究问题

• RQ1 各种数据增强技术在提升儿童语音识别性能方面的有效性如何？
• RQ2 数据增强是否能提升不同语音识别工具包（Kaldi 与 ESPnet）及模型架构下的模型泛化能力？
• RQ3 数据增强能否缓解儿童语音训练数据有限及声学变异性的影响？
• RQ4 最大化识别准确率的最优增强参数组合是什么？
• RQ5 在增强儿童语音数据背景下，端到端模型与传统 chain 模型的性能表现如何比较？

主要发现

• 最终基于 ESPnet 的系统在 Track 2 评估集上达到 16.53% 的 CER，获得 SLT 2021 挑战赛整体第一名。
• 挑战赛后分析显示，该系统在 Track 1 评估集上达到 18.82% 的 CER，但因错误提交版本导致实际提交结果为 21.66% 的 CER。
• 数据增强显著提升了模型鲁棒性，使 CER 从基线 Kaldi 的 16.28% 降低至最优增强设置下的 13.61%（开发集）。
• 在相同增强条件下，端到端 ESPnet 模型优于 Kaldi 的 chain 模型，在开发集上平均 CER 为 14.95%，而 Kaldi 为 15.81%。
• 实验表明，增加更多增强数据，特别是针对儿童语音（Set C1 和 C2），可带来显著性能提升，Post-challenge 分析中 Exp12 表现优于 Exp11。
• 音量与混响扰动特别有效，尤其在与速度和节奏扰动结合时，能显著降低 CER。