[论文解读] Dense CNN with Self-Attention for Time-Domain Speech Enhancement

Ashutosh Pandey, DeLiang Wang|arXiv (Cornell University)|Sep 3, 2020

Speech and Audio Processing参考文献 47被引用 7

一句话总结

本文提出一种结合自注意力机制的密集卷积神经网络用于时域语音增强，通过密集模块实现特征复用，通过自注意力机制实现上下文聚合，联合增强语音的幅度和相位。该方法采用一种新型的相位约束幅度损失（PCM），在多种噪声条件下，无论因果还是非因果设置下，均显著优于先前方法，达到最先进性能。

ABSTRACT

Speech enhancement in the time domain is becoming increasingly popular in recent years, due to its capability to jointly enhance both the magnitude and the phase of speech. In this work, we propose a dense convolutional network (DCN) with self-attention for speech enhancement in the time domain. DCN is an encoder and decoder based architecture with skip connections. Each layer in the encoder and the decoder comprises a dense block and an attention module. Dense blocks and attention modules help in feature extraction using a combination of feature reuse, increased network depth, and maximum context aggregation. Furthermore, we reveal previously unknown problems with a loss based on the spectral magnitude of enhanced speech. To alleviate these problems, we propose a novel loss based on magnitudes of enhanced speech and a predicted noise. Even though the proposed loss is based on magnitudes only, a constraint imposed by noise prediction ensures that the loss enhances both magnitude and phase. Experimental results demonstrate that DCN trained with the proposed loss substantially outperforms other state-of-the-art approaches to causal and non-causal speech enhancement.

研究动机与目标

• 解决时域语音增强中联合增强语音幅度和相位的挑战。
• 克服仅基于幅度的损失函数导致信噪比（SNR）提升不一致并引入伪影的局限性。
• 通过密集模块和自注意力机制，提升时域语音增强中的特征提取与上下文建模能力。
• 开发一种具备实时处理能力且非因果的架构，使其在不同噪声类型和信噪比水平下具有良好泛化能力。
• 研究基于深度神经网络的语音增强模型在训练语料之外的泛化能力。

提出的方法

• 所提出的架构采用编码器-解码器框架并引入跳跃连接，其中每个编码器和解码器层均包含一个密集模块和一个自注意力模块。
• 密集模块通过跨层连接特征图，实现特征复用，促进深层网络学习。
• 自注意力机制通过关注输入序列中相关帧，实现选择性上下文聚合，提升对重复音素和谐波结构的建模能力。
• 提出一种新型损失函数PCM（相位约束幅度损失），通过结合增强语音的幅度与预测噪声的幅度，隐式约束相位估计。
• 该损失函数旨在提升SNR的一致性，减少伪影，同时保持较高的客观质量评分。
• 模型在WSJ语料库上进行训练，并在未见的WSJ说话人上进行评估，以检验跨语料库的泛化能力。

实验结果

研究问题

• RQ1 基于自注意力机制的密集CNN能否有效提升时域语音增强中幅度与相位的性能？
• RQ2 一种结合噪声预测的基于幅度的损失函数，是否相比标准谱幅度损失，能带来更优的相位估计与更少的伪影？
• RQ3 所提网络中的注意力机制如何聚焦于相关语音段落？其在因果与非因果推理中是否存在差异？
• RQ4 所提模型能否泛化至训练数据之外的未见说话人与噪声类型？
• RQ5 感受野大小与扩张卷积对时域语音增强性能有何影响？

主要发现

• 所提出的DCN结合PCM损失在因果与非因果设置下均优于所有基线模型，在STOI上平均提升1.3%，在PESQ上提升0.21分，相较于NC-GCRN，p < 0.0001，具有统计显著性。
• DCN-PCM（实时版本）在STOI上较最佳实时基线TCNN提升1.5%，在PESQ上提升0.19分。
• 注意力图显示，非因果DCN聚焦于浊音段（帧125–185）与高频分量，而因果DCN因因果性约束，注意力向更早帧偏移。
• 因果DCN中的注意力机制比非因果DCN更尖锐，表明在时间约束下具有更聚焦的上下文选择能力。
• PCM损失有效解决了仅基于幅度损失训练中SNR提升不一致的问题，并减少了未知伪影，同时保持了较高的客观评分。
• 即使不使用扩张卷积，所提出的DCN在小感受野与自注意力机制下仍优于使用扩张卷积的模型，证明了该架构设计的有效性。