[论文解读] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks

Animesh Karnewar, Oliver Wang|arXiv (Cornell University)|Mar 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 24

一句话总结

MSG-GAN 引入了一种多尺度梯度机制，通过允许判别器同时在多个分辨率层级向生成器传递梯度，实现了 GAN 训练的稳定性。该方法在多种数据集（包括 CelebA-HQ、FFHQ 和 CIFAR-10）上实现了最先进（SOTA）的 FID 分数，且使用固定的超参数，无需依赖渐进式训练，显著提升了训练稳定性和泛化能力。

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to adapt to different datasets, in part due to instability during training and sensitivity to hyperparameters. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator become uninformative when there isn't enough overlap in the supports of the real and fake distributions. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this by allowing the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for high resolution image synthesis, and serves as an alternative to the commonly used progressive growing technique. We show that MSG-GAN converges stably on a variety of image datasets of different sizes, resolutions and domains, as well as different types of loss functions and architectures, all with the same set of fixed hyperparameters. When compared to state-of-the-art GANs, our approach matches or exceeds the performance in most of the cases we tried.

研究动机与目标

• 解决由于真实数据与生成数据分布重叠度低而导致梯度信息不足所引发的 GAN 训练不稳定性问题。
• 克服渐进式训练的局限性，后者需要在不同分辨率阶段进行复杂的调度和超参数调优。
• 在无需针对数据集调整超参数的前提下，提升多种数据集、架构和损失函数下的训练稳定性和收敛性。
• 使用单一、固定的超参数集合，实现高达 1024×1024 分辨率的图像生成，且性能保持一致。
• 在多个基准数据集上展示对学习率变化和损失函数选择的鲁棒性。

提出的方法

• 从生成器的中间层引入多尺度跳跃连接，将其与判别器在不同分辨率下的对应层相连。
• 在输入判别器前，将多尺度的真实与生成特征图与对应的生成器激活体积进行拼接。
• 使用可学习的融合函数（例如逐元素相加或带线性投影的拼接）在判别前合并多尺度特征。
• 同时在所有分辨率层级上训练单一判别器，实现从判别器到所有生成器层的梯度同时反传。
• 将该方法应用于 ProGAN 和 StyleGAN 架构，证明其与不同生成器和判别器设计的兼容性。
• 在所有数据集上采用统一的训练设置，保持相同的超参数（例如固定的学习率），无论数据领域或分辨率如何。

实验结果

研究问题

• RQ1 多尺度梯度流是否能在不依赖渐进式训练的前提下提升 GAN 的训练稳定性？
• RQ2 多尺度梯度的引入如何影响在多种数据集和架构上的 FID 分数？
• RQ3 MSG-GAN 对学习率和损失函数类型变化的鲁棒性如何？
• RQ4 粗、中、细尺度连接对整体生成性能的贡献分别是什么？
• RQ5 MSG-GAN 是否能在不使用 StyleGAN 中的混合正则化等技术的情况下取得有竞争力的结果？

主要发现

• 在 1024×1024 的 FFHQ 数据集上，MSG-StyleGAN 实现了 6.46 的 FID 分数，优于标准的 StyleGAN 和 ProGAN 基线模型。
• 在 CIFAR-10 上，MSG-ProGAN 在广泛的学习率范围（0.001 至 0.01）内保持一致的 Inception 分数（约 8.3），展现出显著的鲁棒性。
• 消融实验表明，同时使用所有尺度（粗、中、细）连接可获得最佳 FID 分数（FFHQ 上为 8.36），优于单一尺度的消融实验。
• 融合函数具有显著影响：在 MSG-StyleGAN 中使用 φ_cat_lin 可将 FID 降低至 5.80，显著提升性能。
• MSG-GAN 在 CelebA-HQ（11.34）、LSUN Churches 和新创建的 Indian Celebs 数据集上均实现了最先进或具有竞争力的 FID 分数，且使用相同的超参数。
• 尽管未支持混合正则化，MSG-GAN 仍能生成合理的混合风格图像，表明多尺度梯度可能隐式实现了风格解耦。