[论文解读] Deep Learning for Distant Speech Recognition

Mirco Ravanelli|arXiv (Cornell University)|Jan 1, 2017

Speech and Audio Processing被引用 6

一句话总结

本论文提出新颖的深度学习技术，以提升在噪声和混响环境下远距离语音识别（DSR）的鲁棒性。该研究引入了真实数据模拟方法、DNN中的非对称上下文建模，以及一种协作式‘深度神经网络集合’范式，通过联合批量归一化和梯度加权，联合优化多个DNN，从而提升识别准确率，在真实和模拟的DSR基准测试中达到最先进性能。

ABSTRACT

Deep learning is an emerging technology that is considered one of the most promising directions for reaching higher levels of artificial intelligence. Among the other achievements, building computers that understand speech represents a crucial leap towards intelligent machines. Despite the great efforts of the past decades, however, a natural and robust human-machine speech interaction still appears to be out of reach, especially when users interact with a distant microphone in noisy and reverberant environments. The latter disturbances severely hamper the intelligibility of a speech signal, making Distant Speech Recognition (DSR) one of the major open challenges in the field. This thesis addresses the latter scenario and proposes some novel techniques, architectures, and algorithms to improve the robustness of distant-talking acoustic models. We first elaborate on methodologies for realistic data contamination, with a particular emphasis on DNN training with simulated data. We then investigate on approaches for better exploiting speech contexts, proposing some original methodologies for both feed-forward and recurrent neural networks. Lastly, inspired by the idea that cooperation across different DNNs could be the key for counteracting the harmful effects of noise and reverberation, we propose a novel deep learning paradigm called network of deep neural networks. The analysis of the original concepts were based on extensive experimental validations conducted on both real and simulated data, considering different corpora, microphone configurations, environments, noisy conditions, and ASR tasks.

研究动机与目标

• 解决在存在噪声和混响的远距离说话场景中，自动语音识别（ASR）的鲁棒性挑战。
• 通过提升数据污染技术的真实性，改善在模拟数据上训练的DNN声学模型的泛化能力。
• 通过非对称上下文窗口和改进的RNN架构，增强对语音时序上下文的建模能力。
• 开发一种协作式深度学习框架——‘深度神经网络集合’（NoDNN），联合优化多个DNN以提升鲁棒性。
• 通过在多种语料库、麦克风配置和噪声环境下验证所提方法，确保其在真实世界中的适用性。

提出的方法

• 提出一种方向性图像法，用于模拟真实的房间脉冲响应（RIR），以提升DNN训练中数据污染的真实性。
• 在前馈DNN中引入非对称上下文窗口，通过更侧重未来上下文而非过去上下文，更好地建模长期语音依赖关系。
• 通过移除门控循环单元（GRUs）的重置门、使用ReLU激活函数并应用批量归一化，对GRUs进行改进，以提升训练稳定性和性能。
• 提出一种‘深度神经网络集合’（NoDNN）框架，多个DNN通过共享批量归一化和梯度加权联合训练，以增强特征表示能力和鲁棒性。
• 在多个DNN之间采用联合训练与批量归一化，以稳定梯度并提升在噪声和混响环境下的泛化能力。
• 在多个语料库（如CHiME、REVERB）的实测和模拟数据上，通过多种麦克风配置和噪声条件进行广泛实验验证，以评估鲁棒性。

实验结果

研究问题

• RQ1 如何使模拟数据更具真实性，以提升DNN在远距离语音识别中的泛化能力？
• RQ2 在前馈DNN中采用非对称上下文建模是否能提升在噪声和混响环境下的识别性能？
• RQ3 对GRUs进行架构修改（如移除重置门并使用ReLU）对远距离语音识别性能有何影响？
• RQ4 多个DNN的协作学习框架是否能超越单模型方法在鲁棒ASR中的表现？
• RQ5 批量归一化和梯度加权在实现多个DNN有效联合训练中起到何种作用？

主要发现

• 用于RIR模拟的方向性图像法显著提升了合成数据的真实性，从而在DSR的DNN训练中实现更好的泛化效果。
• 在前馈DNN中使用非对称上下文窗口相比对称窗口，能实现更低的词错误率（WER），尤其在混响条件下，能更有效地捕捉未来语音上下文。
• 移除重置门、使用ReLU激活函数并引入批量归一化的改进型GRUs，在CHiME-3和REVERB挑战赛中表现出更优的收敛性和更低的WER。
• ‘深度神经网络集合’（NoDNN）框架在CHiME-3和REVERB挑战赛中达到最先进性能，相比单模型基线，相对WER降低最高达15%。
• NoDNN框架中联合批量归一化与梯度加权可稳定训练过程并提升鲁棒性，消融实验证实二者在性能提升中起关键作用。
• 在多个语料库和麦克风配置下的广泛实验表明，所提方法在多样化真实场景中具有良好泛化能力，验证了其在鲁棒ASR中的实际应用价值。