[论文解读] MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement

Szu‐Wei Fu, Chien-Feng Liao+2 more|arXiv (Cornell University)|May 13, 2019

Speech and Audio Processing被引用 117

一句话总结

MetricGAN 引入了一个基于 GAN 的框架，其中判别器绑定到评估指标（例如 PESQ、STOI），直接在这些指标上优化生成器的性能，实现持续的指标引导训练和多指标控制。

ABSTRACT

Adversarial loss in a conditional generative adversarial network (GAN) is not designed to directly optimize evaluation metrics of a target task, and thus, may not always guide the generator in a GAN to generate data with improved metric scores. To overcome this issue, we propose a novel MetricGAN approach with an aim to optimize the generator with respect to one or multiple evaluation metrics. Moreover, based on MetricGAN, the metric scores of the generated data can also be arbitrarily specified by users. We tested the proposed MetricGAN on a speech enhancement task, which is particularly suitable to verify the proposed approach because there are multiple metrics measuring different aspects of speech signals. Moreover, these metrics are generally complex and could not be fully optimized by Lp or conventional adversarial losses.

研究动机与目标

• 激励并解决基于 GAN 的语音增强中的判别器-评估不匹配（DEM）问题。
• 提出一个基于 GAN 的框架，使判别器学习近似目标评估指标。
• 使生成器能够由连续的指标分数引导，而不是二元的真实/伪标签。
• 证明基于指标引导的训练可以优于传统的基于 Lp 损失的方法。
• 显示可以使用多个判别器同时优化多项指标。

提出的方法

• 通过一个近似 Q 的可微代理，将度量 Q(I) 与判别器 D 关联起来。
• 重构 D 的损失，使 D(y,y) 与度量最大值对齐（归一化到 [0,1]），并且 D(G(x),y) 近似 Q(G(x),y)。
• 通过 L_G = E_x[(D(G(x),y) - s)^2] 使用连续目标分数 s 来训练 G。
• 基于观测数据，迭代训练 D 以模仿度量表面，从而为 G 提供梯度引导。
• 可选地通过使用多个判别器和一个优先处理最大度量差异的算法，扩展到多指标优化。
• 描述网络结构：G 使用基于 BLSTM 的掩码估计器；D 是一个带谱归一化的 CNN，用于强制 1-Lipschitz 连续性。

实验结果

研究问题

• RQ1 经过训练以反映目标评估指标的判别器，能否提供有效优化该指标以提升语音增强的梯度？
• RQ2 将 D 绑定到实际指标（PESQ/STOI）是否比传统的 Lp 损失提高训练效率和最终分数？
• RQ3 MetricGAN 是否能获得比现有 SE 模型和其他基于 GAN 的方法更高的 PESQ 和 STOI 分数？
• RQ4 是否可行地对生成器控制并分配具体的指标分数，是否能够同时优化多项指标？

主要发现

• MetricGAN 在 TIMIT 数据集上获得的 PESQ 和 STOI 分数高于若干基线和 GAN 变体。
• PESQ 优化的 MetricGAN（P）在所测试的不同 SNR 下获得最高的 PESQ 与接近最高的 STOI，优于 IRM 和 CGAN 基线。
• STOI 优化的 MetricGAN（S）在可懂度方面显著提升，尤其在低 SNR 条件下。
• 训练效率（达到目标指标所需的迭代次数）对 MetricGAN 高于基线的 Lp 损失方法。
• 连续的指标标签允许生成具有指定指标分数的语音，并且可以扩展到使用多个判别器的多指标分配。
• 与公开数据集上的最先进 SE 模型相比，MetricGAN(P) 获得最佳 PESQ，并在其他 MOS 相关指标（CSIG、CBAK、COVL）上具有竞争力，表明在各指标上的良好泛化。