[论文解读] Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement

Zhong-Qiu Wang, Gordon Wichern+1 more|arXiv (Cornell University)|Oct 1, 2021

Speech and Audio Processing参考文献 45被引用 12

一句话总结

本文提出了一种两阶段深度学习框架用于语音增强，通过引入低失真目标估计（如MVDR波束成形、WPE、FCP）作为额外特征，以提升相位和幅度估计性能。通过利用线性、低失真算法的相位可靠性，该方法显著提升了语音质量与可懂度，尤其在低信噪比和混响条件下，相位差符号准确率最高达84.9%，评估任务中SI-SDR达15.9 dB。

ABSTRACT

A promising approach for multi-microphone speech separation involves two deep neural networks (DNN), where the predicted target speech from the first DNN is used to compute signal statistics for time-invariant minimum variance distortionless response (MVDR) beamforming, and the MVDR result is then used as extra features for the second DNN to predict target speech. Previous studies suggested that the MVDR result can provide complementary information for the second DNN to better predict target speech. However, on fixed-geometry arrays, both DNNs can take in, for example, the real and imaginary (RI) components of the multi-channel mixture as features to leverage the spatial and spectral information for enhancement. It is not explained clearly why the linear MVDR result can be complementary and why it is still needed, considering that the DNNs and the beamformer use the same input, and the DNNs perform non-linear filtering and could render the linear filtering of MVDR unnecessary. Similarly, in monaural cases, one can replace the MVDR beamformer with a monaural weighted prediction error (WPE) filter. Although the linear WPE filter and the DNNs use the same mixture RI components as input, the WPE result is found to significantly improve the second DNN. This study provides a novel explanation from the perspective of the low-distortion nature of such algorithms, and finds that they can consistently improve phase estimation. Equipped with this understanding, we investigate several low-distortion target estimation algorithms including several beamformers, WPE, forward convolutive prediction, and their combinations, and use their results as extra features to train the second network to achieve better enhancement. Evaluation results on single- and multi-microphone speech dereverberation and enhancement tasks indicate the effectiveness of the proposed approach, and the validity of the proposed view.

研究动机与目标

• 为解决语音增强中相位估计的挑战，特别是在信噪比低和混响严重的环境中，相位误差会降低可懂度。
• 解释为何线性、低失真信号处理方法（如MVDR、WPE、FCP）在作为深度神经网络的特征时仍能提供互补优势，尽管DNN具备非线性滤波能力。
• 证明低失真估计可提升第二阶段DNN预测准确相位差和幅度谱的能力，尤其在复杂声学条件下。
• 验证将传统线性算法与深度学习结合在混合架构中的有效性，避免依赖固定阵列几何结构或冗余的第一阶段计算。

提出的方法

• 该框架采用两阶段DNN：第一阶段网络预测目标语音估计，随后用于计算低失真波束成形（如MVDR）或线性滤波（如WPE、FCP）输出。
• 这些线性、低失真的算法输出（如MVDR、WPE、FCP）被用作第二阶段DNN的额外输入特征，以增强其对幅度和相位估计的优化能力。
• 该方法利用了低失真算法产生的相位估计比混合信号更接近真实目标相位的特性，这是由于其时不变、最小相位失真特性所致。
• 第二阶段DNN使用原始多通道混合信号（实部/虚部）以及低失真估计作为输入特征，以预测目标语音。
• 该方法在单耳（WPE）和双耳/多麦克风（MVDR、MCWF）配置下均进行了评估，通过组合不同波束成形器与预测滤波器以最大化性能。
• 理论与实证分析表明，低失真估计可提升相位差符号预测性能，这是高质量语音重建的关键因素。

实验结果

研究问题

• RQ1 为何在DNN-based语音增强系统中，即使DNN具备非线性滤波能力，MVDR和WPE等低失真线性算法仍能提供互补增益？
• RQ2 低失真估计在多大程度上改善了相位估计，特别是目标与混合信号之间相位差的符号预测？
• RQ3 当使用不同低失真算法（如MVDR、WPE、FCP、MCWF）作为辅助特征时，两阶段DNN系统的性能如何变化？
• RQ4 所提出的方法能否在不依赖均匀圆形阵列几何结构或冗余第一阶段计算的前提下，超越现有MISO-BF-MISO系统？
• RQ5 低失真估计对相位差符号预测准确率的贡献有多大，而该指标是语音质量与可懂度的关键决定因素？

主要发现

• 将低失真估计（如MVDR、WPE、FCP）作为第二阶段DNN的额外特征，可显著提升语音增强性能，增强任务中SI-SDR最高达15.9 dB，去混响任务中pSNR达20.1 dB。
• MISO 1 + MCWF + WPE + MISO 9配置实现了84.9%的相位差符号准确率（PDSAcc），优于MISO 1 + MVDR + MISO 2（77.3% PDSAcc）和MISO 1 + MISO 3（72.9% PDSAcc）。
• 即使第一阶段DNN输出已较强，加入低失真估计仍能带来可测量的增益（如MVDR下pSNR达13.5 dB，而无低失真估计时为12.9 dB），表明信息非冗余。
• 该方法在单麦克风与多麦克风任务中均表现出优越性能，其中卷积波束成形与FCP结合在去混响任务中带来最大性能提升。
• 低失真算法提供可靠、非激进的增强结果，有助于DNN更准确地估计绝对相位差及其符号，尤其在低信噪比区域表现更优。
• 本研究提供了新颖的解释：低失真算法产生的估计比混合信号更接近目标，其可靠性增强了DNN对相位与幅度预测的能力。