[论文解读] Boosting Objective Scores of a Speech Enhancement Model by MetricGAN Post-processing

Szu‐Wei Fu, Chien-Feng Liao+10 more|arXiv (Cornell University)|Jun 18, 2020

Speech and Audio Processing参考文献 23被引用 10

一句话总结

本文提出了一种基于MetricGAN的后处理框架，可提升基于Transformer的语音增强模型的客观语音质量评分，特别是PESQ得分。通过使用MetricGAN微调预训练的L1 Transformer，该方法在不重新训练主模型的情况下增强了感知质量，在基准数据集上显著优于DNS挑战赛基线。

ABSTRACT

The Transformer architecture has demonstrated a superior ability compared to recurrent neural networks in many different natural language processing applications. Therefore, our study applies a modified Transformer in a speech enhancement task. Specifically, positional encoding in the Transformer may not be necessary for speech enhancement, and hence, it is replaced by convolutional layers. To further improve the perceptual evaluation of the speech quality (PESQ) scores of enhanced speech, the L_1 pre-trained Transformer is fine-tuned using a MetricGAN framework. The proposed MetricGAN can be treated as a general post-processing module to further boost the objective scores of interest. The experiments were conducted using the data sets provided by the organizer of the Deep Noise Suppression (DNS) challenge. Experimental results demonstrated that the proposed system outperformed the challenge baseline, in both subjective and objective evaluations, with a large margin.

研究动机与目标

• 在不重新训练主网络架构的情况下，提升语音增强模型的客观语音质量评分，特别是PESQ得分。
• 解决语音增强系统中客观指标与感知质量之间的差距。
• 开发一种通用的后处理模块，通过基于度量的对抗训练增强模型输出。
• 利用Transformer架构进行语音增强，并通过修改的位置编码更好地适应音频序列。
• 在Deep Noise Suppression（DNS）挑战赛数据集上验证所提方法的有效性。

提出的方法

• 用卷积层替代Transformer中的标准位置编码，以更好地适应语音信号表示。
• 使用MetricGAN框架微调预训练的L1 Transformer模型，以提升客观评分。
• 在MetricGAN中训练判别器，基于PESQ等客观度量区分增强后的语音与真实干净语音。
• 通过对抗训练优化生成器（语音增强器），使其输出在客观度量上得分更高。
• 将训练好的MetricGAN作为后处理模块，用于增强任意预训练语音增强模型的输出。
• 在DNS挑战赛数据集上，结合主观与客观度量评估该方法。

实验结果

研究问题

• RQ1 后处理的MetricGAN框架能否显著提升预训练语音增强模型的客观语音质量评分？
• RQ2 用卷积层替代标准位置编码对Transformer在语音增强任务中的性能有何影响？
• RQ3 基于PESQ等客观度量的对抗训练在不重新训练主模型的前提下，能在多大程度上提升感知质量？
• RQ4 所提出的MetricGAN后处理器是否可在不同语音增强模型上实现泛化？
• RQ5 该方法在客观与主观评估中是否均优于DNS挑战赛基线？

主要发现

• 所提出的MetricGAN后处理方法相比DNS挑战赛基线显著提升了PESQ得分。
• 该方法在客观与主观评估中均取得显著优势，证明了其优越的语音质量。
• 用卷积层替代标准位置编码可提升模型在语音增强任务中的性能。
• 通过MetricGAN微调L1 Transformer在不重新训练主模型的前提下，显著提升了客观度量得分。
• MetricGAN后处理器具有良好的泛化能力，可应用于任意预训练语音增强模型以提升其客观评分。
• 该系统在所有评估指标上均优于基线，证实了所提框架的有效性。