[论文解读] End-to-End Model for Speech Enhancement by Consistent Spectrogram Masking

Xingjian Du, Mengyao Zhu+4 more|arXiv (Cornell University)|Jan 2, 2019

Speech and Audio Processing参考文献 13被引用 5

一句话总结

本文提出了一种新型端到端语音增强方法——一致谱图掩码（Consistent Spectrogram Masking, CSM），通过在复谱图上施加一致性约束，提升训练收敛速度并减少伪影。通过使用基于准层的可微STFT近似，在一致谱图空间中直接优化，CSM相较于传统的掩码方法（如cRM和IRM）实现了更快的收敛速度和更优的语音质量。

ABSTRACT

Recently, phase processing is attracting increasinginterest in speech enhancement community. Some researchersintegrate phase estimations module into speech enhancementmodels by using complex-valued short-time Fourier transform(STFT) spectrogram based training targets, e.g. Complex RatioMask (cRM) [1]. However, masking on spectrogram would violentits consistency constraints. In this work, we prove that theinconsistent problem enlarges the solution space of the speechenhancement model and causes unintended artifacts. ConsistencySpectrogram Masking (CSM) is proposed to estimate the complexspectrogram of a signal with the consistency constraint in asimple but not trivial way. The experiments comparing ourCSM based end-to-end model with other methods are conductedto confirm that the CSM accelerate the model training andhave significant improvements in speech quality. From ourexperimental results, we assured that our method could enha

研究动机与目标

• 为解决语音增强中谱图不一致问题，该问题会降低模型收敛性并引入伪影。
• 在复谱图域中联合增强幅度和相位，同时保持STFT一致性约束。
• 通过将优化限制在一致谱图流形上，加速模型训练并提升语音质量。
• 开发一种可微的端到端框架，通过新型准层将一致性约束整合到深度学习模型中。

提出的方法

• 提出一致谱图掩码（CSM）方法，通过确保估计的谱图是有效时域信号的STFT，来对复谱图施加一致性约束。
• 引入“准层”——可学习的卷积层，用于模拟STFT和ISTFT操作，使反向传播能够通过谱图变换过程。
• 推导出直接在一致谱图空间上优化的损失函数，避免因不一致导致解空间扩大。
• 使用全卷积网络（FCN）结合DenseNet架构，从输入的含噪谱图中提取多尺度特征。
• 应用CSM损失函数，联合优化复谱图的实部和虚部，确保输出可通过ISTFT重建。
• 采用STFT/ISTFT对的可微近似，以支持在保持一致谱图约束下的端到端训练。

实验结果

研究问题

• RQ1 在语音增强模型中强制施加谱图一致性约束是否能提升收敛速度？
• RQ2 一致谱图掩码能否减少因相位与幅度估计不一致而引起的非预期伪影？
• RQ3 与传统的cRM和IRM方法相比，CSM在语音质量与训练效率方面表现如何？
• RQ4 当使用CSM时，网络架构选择（如FCN与DNN）在多大程度上影响性能？

主要发现

• 基于CSM的模型在VCTK数据集上的训练曲线显示，其收敛速度优于基于cRM的模型。
• 在所有信噪比（SNR）条件下，QL-FCN-CSM在PESQ和SNR指标上均优于QL-FCN-cRM和基于DNN的模型，尤其在低SNR环境下表现更优。
• 在-6 dB SNR的 babble 噪声条件下，QL-FCN-CSM的PESQ达到1.951，优于DNN-cRM（1.914）和DNN-IRM（1.809）。
• 在道路噪声条件下，QL-FCN-CSM在-6 dB SNR时PESQ达到2.995，优于DNN-cRM（2.905）和DNN-IRM（2.853）。
• 该模型在多种噪声类型（babble、cafe、factory、road）下均保持一致的性能表现，展现出良好的鲁棒性。
• 一致谱图约束有效减少了时域波形失真，图3中的波形对比图已直观验证此结论。