[论文解读] Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement

Tsun-An Hsieh, Cheng Yu+3 more|arXiv (Cornell University)|Oct 28, 2020

Speech and Audio Processing参考文献 42被引用 12

一句话总结

本文提出了一种新型语音增强损失函数——语音强化感知损失（PFPL），该方法结合了wav2vec模型潜在表征中的语音信息，并利用Wasserstein距离衡量分布差异。PFPL在Voice Bank–DEMAND数据集上实现了最先进性能，在感知质量与可懂度指标（如PESQ和STOI）方面优于现有方法。

ABSTRACT

Speech enhancement (SE) aims to improve speech quality and intelligibility, which are both related to a smooth transition in speech segments that may carry linguistic information, e.g. phones and syllables. In this study, we propose a novel phone-fortified perceptual loss (PFPL) that takes phonetic information into account for training SE models. To effectively incorporate the phonetic information, the PFPL is computed based on latent representations of the wav2vec model, a powerful self-supervised encoder that renders rich phonetic information. To more accurately measure the distribution distances of the latent representations, the PFPL adopts the Wasserstein distance as the distance measure. Our experimental results first reveal that the PFPL is more correlated with the perceptual evaluation metrics, as compared to signal-level losses. Moreover, the results showed that the PFPL can enable a deep complex U-Net SE model to achieve highly competitive performance in terms of standardized quality and intelligibility evaluations on the Voice Bank-DEMAND dataset.

研究动机与目标

• 通过在损失函数中引入语音信息，提升语音增强性能，因为语音质量与可懂度依赖于音素和音节等语音单元之间的平滑过渡。
• 解决信号级损失（如L1、L2）与人类感知评价指标相关性较差的问题。
• 通过利用wav2vec的自监督表征，提升语音增强模型的表征保真度，以获得更丰富的语音内容。
• 通过使用具有几何意义的距离度量，提升噪声语音与干净语音在潜在空间中的分布对齐。
• 通过更准确反映人类听觉感知的感知损失，实现更好的泛化能力与感知质量。

提出的方法

• PFPL基于预训练wav2vec模型的潜在表征计算感知损失，该表征能够捕捉丰富的语音与语言信息。
• 损失函数使用Wasserstein距离（W1）衡量增强语音与干净语音潜在特征之间的分布差异，实现基于最优传输的对齐。
• 整体目标函数将PFPL与标准重建损失（MAE）相结合，以在提升感知质量的同时保持信号保真度。
• 该方法将语音增强建模为最优传输问题，在wav2vec嵌入空间中最小化噪声语音与干净语音表征之间的Wasserstein距离。
• 模型采用深度复数U-Net架构进行端到端训练，PFPL作为主要感知目标。
• 消融实验验证了各组件的贡献：语音表征、Wasserstein距离与重建损失。

实验结果

研究问题

• RQ1 将自监督表征中的语音信息融入损失函数，是否能提升语音增强在感知质量方面的性能？
• RQ2 与标准Lp范数相比，使用Wasserstein距离作为感知损失度量是否能实现更优的噪声语音与干净语音表征对齐？
• RQ3 在与人类评价指标的相关性方面，PFPL相较于信号级损失与现有感知损失（如DFL、PERL）表现如何？
• RQ4 PFPL中各组件——语音表征、Wasserstein距离与重建损失——对最终性能的贡献分别是什么？
• RQ5 PFPL训练的模型是否能在标准化语音增强基准上实现最先进结果？

主要发现

• 在Voice Bank–DEMAND数据集上，PFPL的PESQ得分最高（3.15），优于DFL（2.58）、MetricGAN（2.86）与HiFi-GAN（2.94）。
• PFPL损失与感知指标的相关性最强：与PESQ的皮尔逊相关系数（PCC）为0.89，与STOI为0.87，显著高于L1、L2、wSDR与DFL。
• 消融实验表明，使用Wasserstein距离（PFPL vs. PFPL - W）可提升性能，PESQ从3.11提升至3.15，STOI从0.95提升至0.95。
• 引入MAE损失（PFPL - W vs. PFPL - W - MAE）使CBAK从3.05提升至3.52，表明背景语音质量得到更好保留。
• PFPL的CSIG得分为4.18，COVL为3.67，表明语音质量与自然度均较高，优于PERL-wav2vec（CSIG: 4.16，COVL: 3.54）。
• 结果表明，PFPL能有效对齐增强语音与干净语音在潜在空间中的表征，其方式更符合人类听觉感知，尤其在语音连续性与可懂度方面。