[论文解读] Automatic recognition of child speech for robotic applications in noisy environments

Samuel Fernando, Roger K. Moore+5 more|arXiv (Cornell University)|Nov 8, 2016

Speech and dialogue systems参考文献 11被引用 8

一句话总结

本论文提出了一种在嘈杂环境中针对儿童-机器人交互的鲁棒自动语音识别（ASR）系统，利用深度神经网络（DNNs）和Kaldi工具包内实时语言模型自适应技术。该系统在320名儿童参与的博物馆现场部署中，对流利且词汇表内的儿童语音实现了90%的识别准确率，通过数据增强和动态对话集成，有效提升了对噪声和说话人差异的鲁棒性。

ABSTRACT

Automatic speech recognition (ASR) allows a natural and intuitive interface for robotic educational applications for children. However there are a number of challenges to overcome to allow such an interface to operate robustly in realistic settings, including the intrinsic difficulties of recognising child speech and high levels of background noise often present in classrooms. As part of the EU EASEL project we have provided several contributions to address these challenges, implementing our own ASR module for use in robotics applications. We used the latest deep neural network algorithms which provide a leap in performance over the traditional GMM approach, and apply data augmentation methods to improve robustness to noise and speaker variation. We provide a close integration between the ASR module and the rest of the dialogue system, allowing the ASR to receive in real-time the language models relevant to the current section of the dialogue, greatly improving the accuracy. We integrated our ASR module into an interactive, multimodal system using a small humanoid robot to help children learn about exercise and energy. The system was installed at a public museum event as part of a research study where 320 children (aged 3 to 14) interacted with the robot, with our ASR achieving 90% accuracy for fluent and near-fluent speech.

研究动机与目标

• 开发一种在嘈杂真实环境（如教室）中适用于儿童-机器人交互的鲁棒ASR系统。
• 克服儿童语音识别中的挑战，包括声道差异、发音变异性和不流畅性。
• 通过数据增强和深度神经网络（DNN）声学模型，提升在嘈杂环境下的ASR性能。
• 将ASR模块与多模态对话系统动态集成，基于对话上下文实时更新语言模型。
• 在面向3至14岁儿童的真实公共场所博物馆环境中评估该系统。

提出的方法

• 使用Kaldi工具包实现ASR模块，采用最先进的深度神经网络（DNN）声学模型，替代传统的GMM方法。
• 应用数据增强技术以提升对背景噪声和说话人差异的鲁棒性，尤其在训练数据有限的情况下尤为重要。
• 将ASR模块与对话系统集成，根据当前对话阶段（如测验选项）动态更新语言模型，从而提升识别准确率。
• 设计系统支持在线（实时）运行，实现实时语音识别和低延迟响应，适用于交互式机器人应用。
• 采用端点检测和分割启发式方法识别语音边界，但事后人工分析揭示了分割错误。
• 在公共场所博物馆中部署系统，收集了320名儿童与人形机器人互动的数据。

实验结果

研究问题

• RQ1 基于DNN的ASR系统是否能在嘈杂的教室环境中实现对流利儿童语音的高准确率识别？
• RQ2 实时语言模型自适应在儿童-机器人对话系统中如何提升识别性能？
• RQ3 数据增强技术在多大程度上提升了儿童语音识别对噪声和说话人差异的鲁棒性？
• RQ4 在实时儿童-机器人交互中，分割错误的主要来源是什么，它们如何影响识别准确率？
• RQ5 在真实部署中，系统性能在不同年龄和性别群体间如何变化？

主要发现

• 在嘈杂博物馆环境中进行现场互动时，ASR系统对流利且词汇表内的儿童语音实现了90%的识别准确率。
• 最常见的分割错误是“过早开始”，主要由系统回放机器人语音导致，表明音频边界检测存在时间同步问题。
• “过早结束”错误率相对较低（116个实例），表明系统的低延迟支持快速识别，这对交互式机器人对话有益。
• “过晚结束”错误（115个实例）通常与ASR识别失败相关，导致对话管理器超时并引发机器人过早响应。
• 尽管训练数据有限，系统仍表现出强劲性能，凸显了数据增强和DNN声学建模的有效性。
• 人工转录分析确认，绝大多数识别错误源于分割错位，而非流利语句中的错误词识别。