[论文解读] GAN Vocoder: Multi-Resolution Discriminator Is All You Need

Jaeseong You, Dal-Hyun Kim+3 more|arXiv (Cornell University)|Mar 9, 2021

Speech Recognition and Synthesis参考文献 23被引用 5

一句话总结

本文表明，GAN声码器高性能的主要原因在于多分辨率判别器，而非网络结构细节或损失函数。通过将六种不同生成器与一个基于HiFi-GAN的多分辨率判别器配对，研究发现MOS和MCD评分之间无显著统计差异，证明判别器框架是各类生成器设计下实现高保真语音合成的关键因素。

ABSTRACT

Several of the latest GAN-based vocoders show remarkable achievements, outperforming autoregressive and flow-based competitors in both qualitative and quantitative measures while synthesizing orders of magnitude faster. In this work, we hypothesize that the common factor underlying their success is the multi-resolution discriminating framework, not the minute details in architecture, loss function, or training strategy. We experimentally test the hypothesis by evaluating six different generators paired with one shared multi-resolution discriminating framework. For all evaluative measures with respect to text-to-speech syntheses and for all perceptual metrics, their performances are not distinguishable from one another, which supports our hypothesis.

研究动机与目标

• 探究近期GAN声码器的成功是否源于网络结构创新，或源于一种共享的底层机制。
• 检验假设：多分辨率判别器框架是实现高性能语音合成的主导因素。
• 评估在统一强判别器下，不同生成器架构是否表现相当。
• 确定多分辨率判别器是否能在不同类型的输入表征（如原始波形、频谱图、中间特征）上泛化。
• 评估提升生成器容量是否能在MelGAN级别模型已达到的性能基础上带来显著改进。

提出的方法

• 本研究将HiFi-GAN的多分辨率判别器作为固定且共享的组件，应用于六种不同的GAN声码器生成器。
• 每个生成器均使用相同的判别器进行训练和评估，确保性能差异仅源于生成器设计，而非判别器变化。
• 评估涵盖真实波形（GT）重建和文本到语音（TTS）合成任务，采用MOS和MCD指标。
• 多分辨率判别器在多个尺度上评估生成波形，捕捉音频的局部与全局特征。
• 实验包含多种架构的生成器：基于MRF的（HiFi-GAN）、基于轴向残差块的（所提模型）、基于GAU模块的（UMGAN），以及其他采用不同上采样策略和条件机制的模型。
• 音频样本已公开发布，以支持感知评估，保障MOS测试流程的可靠性。

实验结果

研究问题

• RQ1 多分辨率判别器框架是否独立于生成器架构，解释了近期GAN声码器的优越性能？
• RQ2 当与同一多分辨率判别器配对时，从轻量级到大规模的多样化生成器是否能实现相当的性能？
• RQ3 多分辨率判别器在不同类型的输出表征（如原始波形、频谱图或中间特征）上是否同样有效？
• RQ4 在MelGAN或类似模型已达到的性能水平之上，提升生成器容量能在多大程度上改善性能？
• RQ5 如注意力模块或复杂残差块等架构创新是否对高保真声码是必需的，还是判别器才是决定性因素？

主要发现

• 尽管生成器架构存在显著差异，六种GAN声码器在GT重建和TTS合成任务中，MOS和MCD指标均无统计显著差异。
• 当与同一判别器配对时，原始HiFi-GAN生成器并未优于更简单或更轻量的模型，表明其架构本身并不具备优势。
• 轻量级生成器（如HiFi-GAN、PWGAN及所提模型）的性能与大型模型（如VocGAN和UMGAN）相当，表明增加容量并未显著提升性能。
• 尽管MelGAN设计更早且更简单，但当与同一判别器配对时，其性能与更现代、更复杂的架构表现相当。
• 多分辨率判别器框架在不同目标表征（包括原始波形、频谱图和中间特征）上均表现出有效泛化，证实其鲁棒性与通用性。
• 结果表明，GAN声码的核心挑战已由判别器框架解决，未来性能提升可能需要超越生成器架构或损失函数的创新。