[论文解读] Deep Attention Fusion Feature for Speech Separation with End-to-End Post-filter Method

Cunhang Fan, Jianhua Tao+4 more|arXiv (Cornell University)|Mar 17, 2020

Speech and Audio Processing参考文献 45被引用 5

一句话总结

该论文提出一种端到端后滤波器（E2EPF），结合深度注意力融合特征，用于单通道语音分离，通过利用波形输入和注意力机制，提升预分离语音质量，减少残留干扰。在WSJ0-2mix数据集上，SI-SNR、SDR、PESQ和STOI的相对提升率分别达到64.1%、60.2%、25.6%和7.5%，优于当前最先进方法。

ABSTRACT

In this paper, we propose an end-to-end post-filter method with deep attention fusion features for monaural speaker-independent speech separation. At first, a time-frequency domain speech separation method is applied as the pre-separation stage. The aim of pre-separation stage is to separate the mixture preliminarily. Although this stage can separate the mixture, it still contains the residual interference. In order to enhance the pre-separated speech and improve the separation performance further, the end-to-end post-filter (E2EPF) with deep attention fusion features is proposed. The E2EPF can make full use of the prior knowledge of the pre-separated speech, which contributes to speech separation. It is a fully convolutional speech separation network and uses the waveform as the input features. Firstly, the 1-D convolutional layer is utilized to extract the deep representation features for the mixture and pre-separated signals in the time domain. Secondly, to pay more attention to the outputs of the pre-separation stage, an attention module is applied to acquire deep attention fusion features, which are extracted by computing the similarity between the mixture and the pre-separated speech. These deep attention fusion features are conducive to reduce the interference and enhance the pre-separated speech. Finally, these features are sent to the post-filter to estimate each target signals. Experimental results on the WSJ0-2mix dataset show that the proposed method outperforms the state-of-the-art speech separation method. Compared with the pre-separation method, our proposed method can acquire 64.1%, 60.2%, 25.6% and 7.5% relative improvements in scale-invariant source-to-noise ratio (SI-SNR), the signal-to-distortion ratio (SDR), the perceptual evaluation of speech quality (PESQ) and the short-time objective intelligibility (STOI) measures, respectively.

研究动机与目标

• 通过利用先验知识增强预分离语音，解决单通道语音分离中的残留干扰问题。
• 克服现有方法依赖独立训练目标或无监督聚类的局限性，这些方法可能与信号空间分离质量不一致。
• 通过注意力机制融合预分离语音特征与混合信号，聚焦相关成分，提升语音分离性能。
• 通过使用原始波形作为输入，消除重建过程中的相位-幅度失配，实现幅度与相位的联合优化。
• 开发一个完全端到端可训练的框架，将预分离与后滤波整合为单一统一模型。

提出的方法

• 采用时频域分离方法（uPIT+DEF+DL）作为预分离阶段，生成目标语音的初始估计。
• 将原始波形作为端到端后滤波器（E2EPF）的输入，实现幅度与相位的联合优化，提升重建质量。
• 使用一维卷积层从混合信号和预分离信号中提取深层时序表征。
• 引入可学习注意力模块，计算混合信号与预分离特征之间的相似性，生成深度注意力融合特征。
• 利用注意力融合特征作为上下文，引导后滤波器估计增强后的目标信号，聚焦于减少残留干扰。
• 使用可微分损失函数端到端训练整个E2EPF网络，实现预分离与后滤波阶段的联合优化。

实验结果

研究问题

• RQ1 端到端后滤波器结合深度注意力融合特征，能否显著降低单通道语音分离中的残留干扰？
• RQ2 在后滤波阶段使用原始波形作为输入，能否通过解决幅度-相位失配问题，提升性能？
• RQ3 与标准后滤波方法相比，基于注意力的混合信号与预分离特征融合，在多大程度上提升了分离质量？
• RQ4 在标准基准测试中，该方法在SI-SNR、SDR、PESQ和STOI指标上与最先进方法相比表现如何？
• RQ5 将预分离与后滤波整合到单一端到端框架中，是否能优于顺序处理或独立处理方式？

主要发现

• 所提出的E2EPF方法在WSJ0-2mix数据集上，相较于预分离基线，SI-SNR相对提升64.1%。
• 与预分离方法相比，SDR相对提升60.2%，表明信号与失真比显著增强。
• PESQ得分相对提升25.6%，表明分离后语音的主观质量更优。
• STOI提升7.5%，表明后滤波后语音可懂度得到改善。
• 引入深度注意力融合特征后，性能相比无注意力的E2EPF有明显提升，证实其在抑制残留干扰方面的有效性。
• 在WSJ0-3mix数据集上，该方法在所有对比系统中表现最佳，∆SI-SNR与∆SDR均取得正向增益，证实其在多源场景下的鲁棒性。