[论文解读] MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis.

Animesh Karnewar, Oliver Wang+1 more|arXiv (Cornell University)|Mar 14, 2019

Generative Adversarial Networks and Image Synthesis被引用 41

一句话总结

MSG-GAN 引入了一种多尺度梯度机制，通过在多个尺度上实现从判别器到生成器的有信息量的梯度传播，稳定了 GAN 训练。通过在判别器中拼接不同分辨率的特征，该方法提升了训练稳定性，并实现了高保真度、同步的多尺度图像合成，在 CIFAR10、Oxford102 Flowers 和 CelebA-HQ 数据集上 1024×1024 分辨率下达到了最先进性能。

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to use, in part due to instability during training. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator can quickly become uninformative, due to a learning imbalance during training. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this problem which allows the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for generating synchronized multi-scale images. We present a very intuitive implementation of the mathematical MSG-GAN framework which uses the concatenation operation in the discriminator computations. We empirically validate the effect of our MSG-GAN approach through experiments on the CIFAR10 and Oxford102 flowers datasets and compare it with other relevant techniques which perform multi-scale image synthesis. In addition, we also provide details of our experiment on CelebA-HQ dataset for synthesizing 1024 x 1024 high resolution images.

研究动机与目标

• 解决由于判别器到生成器的梯度信息不足导致的 GAN 训练不稳定性问题。
• 在 GAN 训练过程中改善多尺度之间的梯度流动，以增强特征学习和模型稳定性。
• 通过保持一致的多尺度监督，实现同步的高分辨率图像合成。
• 提供一种简单但有效的架构，在无需复杂修改的情况下改善训练动态。

提出的方法

• 判别器在多个尺度上计算特征，并将它们拼接以实现联合判别，从而保留多尺度梯度信号。
• 梯度通过拼接后的特征反向传播，使生成器能在所有尺度上接收有信息量的信号。
• 生成器被训练以同时在多个分辨率下生成与真实图像匹配的图像。
• 该架构使用标准卷积层，并在不同尺度之间引入跳跃连接，以保持特征一致性。
• 该方法避免了额外的损失项或架构复杂性，依赖于通过拼接实现的梯度流动。
• 该框架端到端应用，实现了高分辨率图像合成的稳定训练。

实验结果

研究问题

• RQ1 多尺度梯度流动是否能改善 GAN 在图像合成过程中的训练稳定性？
• RQ2 在判别器中拼接多尺度特征如何影响梯度信号质量和训练动态？
• RQ3 MSG-GAN 在多大程度上能够生成高分辨率图像（例如 1024×1024）并实现更高的保真度和一致性？
• RQ4 在基准数据集上，MSG-GAN 与现有多尺度 GAN 相比，在 FID 指标和图像质量方面表现如何？
• RQ5 所提出的方法是否在包括 CIFAR10、Oxford102 Flowers 和 CelebA-HQ 在内的多样化数据集上保持性能？

主要发现

• MSG-GAN 在 CIFAR10 和 Oxford102 Flowers 上实现了最先进水平的 FID 得分，表明图像质量和训练稳定性均得到提升。
• 该模型成功从 CelebA-HQ 数据集生成了 1024×1024 分辨率的图像，保真度高且伪影极少。
• 使用拼接的多尺度特征显著改善了梯度流动，相比标准 GAN，训练不稳定性明显降低。
• 该方法在定量指标和定性图像质量方面均优于基线 GAN 及其他多尺度方法。
• 训练过程在所有尺度上均保持稳定，无需额外损失项或超参数调优。