[论文解读] Components Loss for Neural Networks in Mask-Based Speech Enhancement

Ziyi Xu, Samy Elshamy+2 more|arXiv (Cornell University)|Aug 14, 2019

Speech and Audio Processing参考文献 41被引用 6

一句话总结

本文提出了一种用于基于掩码的语音增强中神经网络训练的新损失函数——组件损失（Components Loss, CL），实现了对语音质量、噪声抑制和残留噪声自然度的独立优化。CL 在已见噪声类型上相比标准损失函数（如 MSE、PESQ 和 STOI）表现更优，PESQ 提升至少 0.1 分，SNR 提升超过 0.5 dB；在未见噪声类型上性能提升更为显著。

ABSTRACT

Estimating time-frequency domain masks for single-channel speech enhancement using deep learning methods has recently become a popular research field with promising results. In this paper, we propose a novel components loss (CL) for the training of neural networks for mask-based speech enhancement. During the training process, the proposed CL offers separate control over preservation of the speech component quality, suppression of the residual noise component, and preservation of a naturally sounding residual noise component. We illustrate the potential of the proposed CL by evaluating a standard convolutional neural network (CNN) for mask-based speech enhancement. The new CL obtains a better and more balanced performance in almost all employed instrumental quality metrics over the baseline losses, the latter comprising the conventional mean squared error (MSE) loss and also auditory-related loss functions, such as the perceptual evaluation of speech quality (PESQ) loss and the recently proposed perceptual weighting filter loss. Particularly, applying the CL offers better speech component quality, better overall enhanced speech perceptual quality, as well as a more naturally sounding residual noise. On average, an at least 0.1 points higher PESQ score on the enhanced speech is obtained while also obtaining a higher SNR improvement by more than 0.5 dB, for seen noise types. This improvement is stronger for unseen noise types, where an about 0.2 points higher PESQ score on the enhanced speech is obtained, while also the output SNR is ahead by more than 0.5 dB. The new proposed CL is easy to implement and code is provided at https://github.com/ifnspaml/Components-Loss.

研究动机与目标

• 解决标准损失函数（如 MSE、PESQ 和 STOI）在优化主观语音质量与残留噪声特性方面的局限性。
• 克服 MSE 训练在低信噪比（SNR）条件下导致的语音抑制效应，即为最小化误差而压制语音成分。
• 实现对三个关键组件的独立控制：语音成分质量、残留噪声抑制能力以及残留噪声的主观自然度。
• 在不损害主观质量或引入不自然伪影的前提下，提升各项客观指标性能。
• 提供一种简单、模块化的损失函数，可轻松集成至现有的深度学习框架中用于语音增强。

提出的方法

• 提出一种新型损失函数——组件损失（CL），将训练目标分解为三个独立组件：语音质量、噪声抑制和残留噪声自然度。
• 为每个组件定义独立的损失项：一项用于保留语音细节（最小化语音区域的失真），一项用于抑制残留噪声能量，一项用于通过感知加权模型确保残留噪声的主观自然度。
• 使用可学习或固定的加权系数将三个组件整合为统一的损失函数，以在训练过程中平衡各项目标间的权衡。
• 将 CL 应用于标准 CNN 架构进行基于掩码的语音增强，其中网络从含噪谱图中预测时频掩码。
• 采用感知指标（如 STOI 和 PESQ）的可微分近似，以确保基于梯度的优化，同时保持完全可微性。
• 使用 CL 与一个小的 MSE 项联合训练网络以稳定训练过程，但主要优化目标由各分量特定的目标驱动。

实验结果

研究问题

• RQ1 能否通过分别优化语音质量、噪声抑制和残留噪声自然度的损失函数，提升整体语音增强性能？
• RQ2 所提出的组件损失是否能减少 MSE 训练模型在低信噪比条件下出现的语音抑制效应？
• RQ3 在 PESQ 和 SNR 提升方面，CL 与当前最先进的感知损失（如 PESQ 和 STOI）相比表现如何？
• RQ4 CL 在未在训练数据中出现的噪声类型上，其泛化能力如何？
• RQ5 CL 是否能够轻松实现并集成到现有的深度学习语音增强流水线中？

主要发现

• 对于已见噪声类型，组件损失在增强语音的 PESQ 得分上相比基线损失至少提升 0.1 分。
• 在已见噪声类型上，CL 使输出 SNR 提升超过 0.5 dB，表明噪声抑制与信号保留能力更强。
• 对于未见噪声类型，PESQ 提升达到约 0.2 分，显示出更强的泛化能力。
• 未见噪声类型的 SNR 提升也超过 0.5 dB，证实了其在多样化噪声条件下的鲁棒性。
• CL 生成的残留噪声更自然，表现为主观质量提升以及不自然伪影减少。
• 该方法实现简单，已开源，代码可在 GitHub 上获取，有助于研究社区的采用与可复现性。