[论文解读] Explicit Estimation of Magnitude and Phase Spectra in Parallel for High-Quality Speech Enhancement

Ye-Xin Lu, Yang Ai+1 more|arXiv (Cornell University)|Aug 17, 2023

Speech and Audio Processing被引用 5

一句话总结

该论文提出MP-SENet，一种新颖的语音增强网络，通过使用时间-频率Transformer的编解码器架构，显式并行估计幅度谱和相位谱。通过解耦幅度与相位估计，并采用去环绕损失和感知损失，MP-SENet实现了最先进性能，在VoiceBank+DEMAND数据集上语音去噪任务的PESQ达到3.60，显著提升了谐波成分恢复效果，并减少了双向补偿效应。

ABSTRACT

Phase information has a significant impact on speech perceptual quality and intelligibility. However, existing speech enhancement methods encounter limitations in explicit phase estimation due to the non-structural nature and wrapping characteristics of the phase, leading to a bottleneck in enhanced speech quality. To overcome the above issue, in this paper, we proposed MP-SENet, a novel Speech Enhancement Network that explicitly enhances Magnitude and Phase spectra in parallel. The proposed MP-SENet comprises a Transformer-embedded encoder-decoder architecture. The encoder aims to encode the input distorted magnitude and phase spectra into time-frequency representations, which are further fed into time-frequency Transformers for alternatively capturing time and frequency dependencies. The decoder comprises a magnitude mask decoder and a phase decoder, directly enhancing magnitude and wrapped phase spectra by incorporating a magnitude masking architecture and a phase parallel estimation architecture, respectively. Multi-level loss functions explicitly defined on the magnitude spectra, wrapped phase spectra, and short-time complex spectra are adopted to jointly train the MP-SENet model. A metric discriminator is further employed to compensate for the incomplete correlation between these losses and human auditory perception. Experimental results demonstrate that our proposed MP-SENet achieves state-of-the-art performance across multiple speech enhancement tasks, including speech denoising, dereverberation, and bandwidth extension. Compared to existing phase-aware speech enhancement methods, it further mitigates the compensation effect between the magnitude and phase by explicit phase estimation, elevating the perceptual quality of enhanced speech.

研究动机与目标

• 为解决语音增强质量中因隐式且不准确的相位估计而产生的持续瓶颈问题。
• 克服幅度与相位之间导致谐波结构和主观质量下降的双向补偿效应。
• 显式建模并行优化幅度与相位谱，提升语音自然度与可懂度。
• 构建统一框架，实现去噪、混响抑制和带宽扩展等多种任务的高质量增强。
• 通过消融研究和定量指标验证显式相位估计的有效性。

提出的方法

• MP-SENet采用编解码器架构，编码器将失真幅度谱和包裹相位谱处理为时频表示。
• 解码器采用双流分支：一个用于显式幅度谱估计，另一个通过并行相位估计架构实现显式相位谱估计。
• 时频Transformer在编码器与解码器之间建立连接，捕捉时间与频率维度上的长程依赖关系。
• 模型采用多级损失进行训练：幅度部分使用均方误差和感知损失，相位部分使用去环绕损失，短时复谱部分使用均方误差和一致性损失。
• 使用对抗性度量判别器，通过优化人类感知指标来提升主观质量。
• 通过去环绕损失显式优化相位谱，以处理相位的周期性特性并避免不连续性。

实验结果

研究问题

• RQ1 显式并行估计幅度与相位谱是否能优于隐式或顺序相位建模的语音增强方法？
• RQ2 显式相位估计是否能减少幅度与相位之间的双向补偿效应，从而更好地保留谐波结构？
• RQ3 去环绕损失与感知损失如何共同提升语音质量与主观指标？
• RQ4 时间与频率Transformer的串行与并行堆叠架构选择对性能有何影响？
• RQ5 显式相位建模能否在紧凑模型下实现多种语音增强任务的SOTA性能？

主要发现

• 在公开的VoiceBank+DEMAND数据集上，MP-SENet在语音去噪任务中实现了SOTA的PESQ 3.60，优于现有相位感知方法。
• 模型显著提升了谐波结构的恢复效果，通过频谱图对比可直观验证。
• 消融研究显示，显式相位估计不可或缺，移除相位解码器将导致性能显著下降。
• 去环绕损失与感知度量损失对高主观质量至关重要，后者显著改善了MOS相关指标。
• 将Transformer替换为Conformers仅导致轻微性能下降，但MP-SENet仍以更小的模型参数量（1.77M）优于CMGAN。
• 时间与频率Transformer的串行堆叠略优于并行堆叠，但两者均表现优异。