[论文解读] DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement

Shubo Lv, Yanxin Hu+2 more|arXiv (Cornell University)|Jun 16, 2021

Speech and Audio Processing参考文献 34被引用 7

一句话总结

DCCRN+ 引入了一种具有可学习滤波器的子带处理框架，结合复数时频LSTM、卷积跳跃连接、先验信噪比（SNR）估计以及后处理，以提升语音质量并抑制噪声。该方法在Interspeech 2021 DNS挑战赛中取得了SOTA性能，主观意见得分（MOS）达到3.51，优于DCCRN及其他领先模型在PESQ和DNSMOS指标上的表现。

ABSTRACT

Deep complex convolution recurrent network (DCCRN), which extends CRN with complex structure, has achieved superior performance in MOS evaluation in Interspeech 2020 deep noise suppression challenge (DNS2020). This paper further extends DCCRN with the following significant revisions. We first extend the model to sub-band processing where the bands are split and merged by learnable neural network filters instead of engineered FIR filters, leading to a faster noise suppressor trained in an end-to-end manner. Then the LSTM is further substituted with a complex TF-LSTM to better model temporal dependencies along both time and frequency axes. Moreover, instead of simply concatenating the output of each encoder layer to the input of the corresponding decoder layer, we use convolution blocks to first aggregate essential information from the encoder output before feeding it to the decoder layers. We specifically formulate the decoder with an extra a priori SNR estimation module to maintain good speech quality while removing noise. Finally a post-processing module is adopted to further suppress the unnatural residual noise. The new model, named DCCRN+, has surpassed the original DCCRN as well as several competitive models in terms of PESQ and DNSMOS, and has achieved superior performance in the new Interspeech 2021 DNS challenge

研究动机与目标

• 在保持低计算成本和实时性能的前提下，提升嘈杂环境中的语音质量。
• 解决基于深度学习的语音增强中噪声抑制与语音失真之间的权衡问题。
• 通过DCCRN框架的架构创新，增强时序建模能力和特征表示。
• 开发一种端到端可训练、紧凑且高效的语音增强系统，适用于实时应用。

提出的方法

• 用可学习的神经网络滤波器替代固定的FIR滤波器，实现子带分解与重构，支持端到端训练并提升推理速度。
• 引入复数时频LSTM模块，利用复数递归单元在时间和频率轴上联合建模时序依赖性。
• 将编码器与解码器之间的直接跳跃连接替换为卷积路径，以聚合并优化特征表示后再进行跳跃连接。
• 在解码器中集成辅助的先验SNR估计模块，作为多任务学习目标，以保留语音质量。
• 应用基于MMSE-LSA的后处理模块，以抑制残留噪声并提升主观质量。
• 采用对称的编码器-解码器架构，结合复数卷积与反卷积层，专为复数谱图优化设计。

实验结果

研究问题

• RQ1 可学习子带滤波器是否能在不降低语音质量的前提下提升推理速度并增强模型紧凑性？
• RQ2 将标准LSTM替换为复数时频LSTM是否能增强时序建模能力并提升增强性能？
• RQ3 在编码器与解码器层之间引入卷积路径是否能改善特征表示与噪声抑制？
• RQ4 将先验SNR估计作为辅助任务是否能提升主观语音质量？
• RQ5 后处理是否能进一步降低残留噪声并提升主观听感质量？

主要发现

• 在Voice Bank + DEMAND数据集上，DCCRN+ 的PESQ得分为3.32，相比原始DCCRN提升0.04。
• 采用可学习子带滤波器的模型实时因子（RTF）为0.137，显著快于使用FIR滤波器的子带版本。
• 引入复数时频LSTM使PESQ相比使用可学习滤波器的子带DCCRN提升了0.05。
• SNR估计模块带来0.03的PESQ提升，证实其在保留语音质量方面的有效性。
• 在DNS-2021盲测数据集上，DCCRN+ 的DNSMOS得分为3.46，为全部20个提交方案中的最高分。
• 在主观P.835 MOS评估中，DCCRN+ 的总体MOS得分为3.51，位列宽带音质赛道前四名。