[论文解读] Environmental Noise Embeddings for Robust Speech Recognition

Suyoun Kim, Bhiksha Raj+1 more|arXiv (Cornell University)|Jan 11, 2016

Speech Recognition and Synthesis参考文献 21被引用 22

一句话总结

本文提出了一种深度神经网络框架，通过学习环境噪声嵌入来提升语音识别的鲁棒性。通过训练一个独立的DNN从含噪语音中提取具有判别性的噪声嵌入，并将其与声学特征拼接，该方法在各种噪声条件下显著降低了词错误率（WER），优于基线模型、i-vector、NAT以及多任务学习方法，尤其在未见过的噪声和低信噪比（SNR）环境中表现更优。

ABSTRACT

We propose a novel deep neural network architecture for speech recognition that explicitly employs knowledge of the background environmental noise within a deep neural network acoustic model. A deep neural network is used to predict the acoustic environment in which the system in being used. The discriminative embedding generated at the bottleneck layer of this network is then concatenated with traditional acoustic features as input to a deep neural network acoustic model. Through a series of experiments on Resource Management, CHiME-3 task, and Aurora4, we show that the proposed approach significantly improves speech recognition accuracy in noisy and highly reverberant environments, outperforming multi-condition training, noise-aware training, i-vector framework, and multi-task learning on both in-domain noise and unseen noise.

研究动机与目标

• 解决因训练与测试环境不匹配导致的自动语音识别（ASR）性能下降问题，特别是背景噪声和混响的影响。
• 克服现有噪声自适应技术的局限性，例如NAT中固定的噪声估计以及i-vector方法在未见过噪声中的泛化能力差。
• 开发一种动态的、端到端可训练的噪声自适应框架，利用深度神经网络显式建模环境声学特性。
• 在域内和未见过的噪声条件下均提升鲁棒性，包括高度混响和低信噪比（SNR）环境。
• 证明噪声嵌入在CHiME-3和Aurora4等多样化数据集上，其泛化能力优于传统噪声感知或i-vector方法。

提出的方法

• 训练一个独立的深度神经网络（N_DNN），从原始语音特征中预测环境噪声，利用瓶颈层生成具有判别性的噪声嵌入。
• 从N_DNN的瓶颈层提取低维噪声嵌入，以捕捉背景噪声的声学特征。
• 在将特征输入主DNN声学模型进行语音识别之前，将学习到的噪声嵌入与标准声学特征（如MFCC）拼接。
• 采用两阶段训练流程：首先训练噪声嵌入网络，然后使用拼接后的特征微调端到端ASR模型。
• 将所提方法与替代方法进行比较：噪声感知训练（NAT）、基于i-vector的噪声建模（N_GMM）以及多任务学习（MTL）。
• 所有实验均采用40维噪声嵌入，训练数据仅限于四种噪声类型，以评估对未见过噪声的泛化能力。

实验结果

研究问题

• RQ1 判别性训练的深度神经网络能否学习到有意义的、低维的噪声嵌入，从而提升在噪声环境下的ASR鲁棒性？
• RQ2 在域内和未见过的噪声条件下，所提出的噪声嵌入方法相较于NAT、i-vector和多任务学习等现有技术，在WER降低方面表现如何？
• RQ3 在CHiME-3和Aurora4等多样化数据集上，噪声嵌入是否能带来一致的性能提升，特别是在低SNR水平下？
• RQ4 当仅使用四种噪声类型进行训练时，模型对未见过的噪声类型的泛化能力如何？
• RQ5 在干净测试条件下，噪声嵌入是否仍能提升识别准确率，表明其泛化能力超越了特定噪声的适应？

主要发现

• +N_DNN模型在Aurora4数据集上，于0 dB SNR的背景音乐噪声条件下，相比基线模型实现了2.92%的相对WER降低，而在干净集上仅提升0.19%，表明其具有显著的噪声特异性增益。
• 在CHiME-3任务中，+N_DNN在域内噪声条件下将WER降低了0.3%（从15.6%降至15.3%），在未见过的噪声条件下降低了0.2%（从11.7%降至11.5%），且具有统计显著性（p < 0.05）。
• +N_DNN在所有测试集上均优于+N_NAT和+N_GMM，其中+N_NAT仅带来微弱增益，而+N_GMM在未见过噪声上的表现甚至劣于基线。
• 特征嵌入的可视化显示，+N_DNN在不同噪声环境下的输入特征更具判别性，尤其在未见过的噪声情况下表现更优。
• 与基线相比，+N_DNN在域内噪声下实现了2.2%的相对WER降低，在未见过噪声下实现了0.9%的相对降低，证明其具备强大的泛化能力。
• 性能增益在低SNR下最为显著，证实噪声嵌入在挑战性声学条件下尤为有效。