[论文解读] Generative Adversarial Source Separation

Cem Subakan, Paris Smaragdis|arXiv (Cornell University)|Oct 30, 2017

Speech and Audio Processing参考文献 5被引用 8

一句话总结

本论文提出使用Wasserstein生成对抗网络（WGANs）进行语音源分离，取代传统的生成模型（如NMF和最大似然自编码器）。结果表明，使用WGAN损失训练的两层感知机在信源-失真比（SDR）上优于这些基线模型，实现了更优的音频源分离效果，且无需对输出分布做参数化假设。

ABSTRACT

Generative source separation methods such as non-negative matrix factorization (NMF) or auto-encoders, rely on the assumption of an output probability density. Generative Adversarial Networks (GANs) can learn data distributions without needing a parametric assumption on the output density. We show on a speech source separation experiment that, a multi-layer perceptron trained with a Wasserstein-GAN formulation outperforms NMF, auto-encoders trained with maximum likelihood, and variational auto-encoders in terms of source to distortion ratio.

研究动机与目标

• 为解决生成式源分离模型在输出分布上需显式假设参数形式（如泊松或高斯噪声模型）的局限性。
• 探究生成对抗网络（GANs），特别是Wasserstein GAN形式，是否能在无需此类假设的情况下，更准确地学习音频频谱图的数据分布。
• 比较基于WGAN的模型与标准NMF、最大似然自编码器及变分自编码器在语音源分离任务中的性能表现。
• 评估对抗训练在音频建模中的稳定性和有效性，尤其与众所周知难以训练的标准GAN相比。
• 证明GAN中的判别器可通过学习有意义的重建度量，隐式辅助源分离。

提出的方法

• 作者使用带有软正切非线性的两层感知机生成器，将513维潜在向量映射为幅度谱图帧，由权重 $ W_1 $ 和 $ W_2 $ 参数化。
• 在WGAN设置中，生成器使用高斯噪声输入（513维）；在自编码变体中，实际源谱图则作为生成器的输入。
• 判别器网络为两层前馈网络，激活函数采用ReLU和Sigmoid，最终层使用恒等函数以在WGAN中实现梯度稳定。
• WGAN训练通过权重重塑来强制满足Lipschitz约束，判别器参数在-0.01至0.01之间裁剪。
• 生成器通过最小化真实数据的判别器输出和最大化生成样本的输出来训练，采用极小化极大目标，梯度惩罚通过裁剪隐式实现。
• 所有模型均使用RMSprop优化，固定学习率为0.001，且判别器在每次生成器更新前更新五次。

实验结果

研究问题

• RQ1 基于WGAN的生成模型是否能在语音源分离任务中超越基于最大似然的模型（如NMF和自编码器）？
• RQ2 与假设泊松或高斯噪声的模型相比，GAN因无参数化输出分布假设，是否能更优地建模谱图分布？
• RQ3 标准GAN与更稳定的WGAN形式在语音源分离任务中的性能表现如何比较？
• RQ4 在生成器以真实数据为条件的自编码GAN中，其性能是否能与以噪声为条件的GAN相媲美？
• RQ5 与基于似然的训练相比，对抗训练在提升源分离指标（如SDR、SIR和SAR）方面有多显著？

主要发现

• 使用高斯噪声输入的Wasserstein GAN在所有对比模型中实现了最高的信源-失真比（SDR），优于NMF、最大似然自编码器和变分自编码器。
• 标准GAN被发现训练不稳定，难以捕捉谱图分布的多样性，导致分离性能不一致且通常更差。
• 自编码WGAN变体表现具有竞争力，但可靠性低于以噪声为条件的WGAN，表明噪声条件生成为解耦源建模提供了更好的归纳偏置。
• 对抗模型通常实现了较高的信源-干扰比（SIR），表明能有效抑制干扰，尽管在信源-伪影比（SAR）上略逊于最大似然模型。
• WGAN形式提供了更平滑的梯度和更稳定的训练过程，这对音频生成任务中保持一致性能至关重要。
• 结果表明，WGAN能有效学习谱图空间中复杂且非参数化的数据分布，使其在源分离任务中成为基于似然模型的有力替代方案。