[论文解读] Deep Learning for Environmentally Robust Speech Recognition: An Overview of Recent Developments

Zixing Zhang, Jürgen T. Geiger+4 more|arXiv (Cornell University)|May 30, 2017

Speech and Audio Processing参考文献 137被引用 62

一句话总结

本论文综述在非平稳环境噪声中的鲁棒 ASR 的深度学习方法，按单通道与多通道、前端与后端架构进行分类，并讨论训练策略和数据集。

ABSTRACT

Eliminating the negative effect of non-stationary environmental noise is a long-standing research topic for automatic speech recognition that stills remains an important challenge. Data-driven supervised approaches, including ones based on deep neural networks, have recently emerged as potential alternatives to traditional unsupervised approaches and with sufficient training, can alleviate the shortcomings of the unsupervised methods in various real-life acoustic environments. In this light, we review recently developed, representative deep learning approaches for tackling non-stationary additive and convolutional degradation of speech with the aim of providing guidelines for those involved in the development of environmentally robust speech recognition systems. We separately discuss single- and multi-channel techniques developed for the front-end and back-end of speech recognition systems, as well as joint front-end and back-end training frameworks.

研究动机与目标

• 在现实场景下激发兴趣并界定环境噪声与混响在 ASR 中的问题。
• 给出按通道数量和系统阶段分类的深度学习噪声鲁棒性方法的分类体系。
• 总结具有代表性的前端、后端以及前端/后端联合技术。
• 讨论标准语料、评估指标以及训练与评估的实际注意事项。

提出的方法

• 将方法分为前端、后端和前端/后端联合技术。
• 区分基于映射的增强方法与基于掩蔽的增强方法。
• 讨论支持的架构（DNN、CNN、RNN/LSTM、GRU）及它们在去噪与特征提取中的作用。
• 强调对抗训练和类似 WaveNet 的时域映射的作用。
• 回顾多通道方法以及从倒谱表示向时域表示的转变。

实验结果

研究问题

• RQ1 哪些深度学习策略在缓解 ASR 中的非平稳噪声和混响方面最有效？
• RQ2 在前端、后端和联合配置中，单通道与多通道方法的比较如何？
• RQ3 哪些数据集、评估指标和训练范式最能支持环境鲁棒的语音识别？
• RQ4 诸如对抗训练和时域映射等最新进展如何影响鲁棒性？

主要发现

• 深度学习方法在 ASR 的非平稳噪声和混响方面可超越传统无监督方法。
• CNN、RNN/LSTM 与类 WaveNet 的时域模型使前端增强与特征提取更为有效。
• 基于掩蔽的方法（如 IRM、IBM、相位敏感掩蔽）在 ASR 任务中优于某些二值掩蔽方法。
• 对抗训练和多条件预训练提高对多样环境的鲁棒性。
• 观察到从倒谱域表示向时域处理的转变，在架构创新和云端规模数据的推动下。