[论文解读] Deep Speech Enhancement for Reverberated and Noisy Signals using Wide Residual Networks

Dayana Ribas, Jorge Llombart+2 more|arXiv (Cornell University)|Jan 3, 2019

Speech and Audio Processing参考文献 58被引用 15

一句话总结

本文提出一种基于宽残差网络（WRN）与一维卷积的深度语音增强方法，用于建模混响和噪声语音中的时序依赖性。残差连接有效实现了干净语音的重建，显著提升了语音质量与自动语音识别（ASR）性能，尤其在低信噪比（SNR）和远场条件下表现更优，优于传统方法如MM-LSA。

ABSTRACT

This paper proposes a deep speech enhancement method which exploits the high potential of residual connections in a wide neural network architecture, a topology known as Wide Residual Network. This is supported on single dimensional convolutions computed alongside the time domain, which is a powerful approach to process contextually correlated representations through the temporal domain, such as speech feature sequences. We find the residual mechanism extremely useful for the enhancement task since the signal always has a linear shortcut and the non-linear path enhances it in several steps by adding or subtracting corrections. The enhancement capacity of the proposal is assessed by objective quality metrics and the performance of a speech recognition system. This was evaluated in the framework of the REVERB Challenge dataset, including simulated and real samples of reverberated and noisy speech signals. Results showed that enhanced speech from the proposed method succeeded for both, the enhancement task with intelligibility purposes and the speech recognition system. The DNN model, trained with artificial synthesized reverberation data, was able to deal with far-field reverberated speech from real scenarios. Furthermore, the method was able to take advantage of the residual connection achieving to enhance signals with low noise level, which is usually a strong handicap of traditional enhancement methods.

研究动机与目标

• 解决传统统计语音增强方法在非平稳噪声和混响下表现不佳的局限性。
• 提升下游ASR系统在真实声学环境下的语音可懂度与鲁棒性。
• 利用深度学习，特别是宽残差网络（WRN），建模语音信号中的复杂时序与谱相关性。
• 克服传统方法在低SNR场景下性能下降的常见问题。
• 证明在宽卷积神经网络架构中采用残差学习可有效增强噪声与混响语音。

提出的方法

• 该方法采用沿时间维度应用一维卷积的宽残差网络（WRN）架构，以捕捉语音特征序列中的时序上下文。
• 通过残差连接稳定训练过程，并允许学习恒等映射，其中跳跃连接保留原始信号，非线性路径添加学习到的修正。
• 模型在人工合成的混响数据上进行端到端训练，学习从含噪、混响语音到干净语音的映射。
• 通过空洞卷积实现多尺度感受野，以捕捉时域中的长程依赖关系。
• 损失函数基于预测值与目标干净语音特征之间的均方误差（MSE），通过反向传播进行优化。
• 在REVERB Challenge数据集上，通过客观语音质量指标（LLR、CD）和自动语音识别（ASR）词错误率（WER）对方法进行评估。

实验结果

研究问题

• RQ1 宽残差网络架构能否有效增强混响和噪声语音信号，同时保持可懂度？
• RQ2 与传统统计方法（如MM-LSA）相比，WRN中的残差学习机制如何提升性能？
• RQ3 在仅使用合成混响数据训练的情况下，模型在真实世界远场混响语音条件下的泛化能力如何？
• RQ4 在传统方法常失效的低信噪比（SNR）条件下，该方法是否能保持或提升性能？
• RQ5 基于WRN的增强方法能否在包括模拟与真实录音在内的多样化声学环境中，提升下游ASR性能？

主要发现

• WRN-based增强方法在所有测试条件下，均显著优于MM-LSA基线，在语音质量指标（LLR和CD）与ASR词错误率（WER）方面表现更优。
• 在REVERB开发数据集上，WRN模型在远场混响语音下的WER分别为45.89%（GMM-HMM）和47.29%（GMM-HMM MCT + fMLLR），而基线含噪输入的WER为89.59%。
• 在REVERB评估数据集上，WRN模型的WER分别为44.14%（GMM-HMM）和46.85%（GMM-HMM MCT + fMLLR），而基线含噪输入的WER为88.41%。
• 该模型即使仅在合成数据上训练，也展现出对真实世界远场场景的强大泛化能力。
• 该方法成功增强了低SNR语音，这是传统增强技术的公认难题，表明残差学习在保留干净信号分量方面的有效性。
• 残差机制通过允许网络学习输入信号线性捷径的残差修正，实现了稳定训练与有效信号重建。