[论文解读] MSG-GAN: Multi-Scale Gradients GAN for more stable and synchronized multi-scale image synthesis

Animesh Karnewar, Raghu Sesha Iyengar|arXiv (Cornell University)|Mar 14, 2019

Image Processing Techniques and Applications被引用 8

一句话总结

MSG-GAN 引入了一种多尺度梯度机制，通过在多个特征尺度上实现从判别器到生成器的梯度流动，显著提升了 GAN 训练的稳定性与图像质量，且无需超参数调优，适用于多种数据集和网络架构。该方法在固定超参数下实现了稳定的收敛，并达到了最先进性能。

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to adapt to different datasets, in part due to instability during training and sensitivity to hyperparameters. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator become uninformative when there isn't enough overlap in the supports of the real and fake distributions. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this by allowing the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for high resolution image synthesis, and serves as an alternative to the commonly used progressive growing technique. We show that MSG-GAN converges stably on a variety of image datasets of different sizes, resolutions and domains, as well as different types of loss functions and architectures, all with the same set of fixed hyperparameters. When compared to state-of-the-art GANs, our approach matches or exceeds the performance in most of the cases we tried.

研究动机与目标

• 为解决 GAN 训练中常见的不稳定性和超参数敏感性问题，特别是在真实数据与生成数据分布重叠较低时。
• 通过支持多尺度梯度反向传播，改善从判别器到生成器的梯度流动。
• 为高分辨率图像合成提供一种稳定的渐进式训练替代方案。
• 在固定超参数下，实现跨多种数据集、损失函数和网络架构的一致训练收敛。

提出的方法

• 通过从真实图像和生成图像中提取多个分辨率的特征，引入多尺度梯度计算。
• 在多个尺度上应用判别器，使梯度能够通过每个尺度的特征图回传至生成器。
• 采用多尺度损失，聚合所有尺度上的对抗性损失，增强梯度信号的多样性。
• 采用渐进式训练策略，逐步提高分辨率，但每个阶段均保持所有尺度上的梯度流动。
• 通过一致的多尺度监督，防止梯度消失或无信息梯度，确保训练稳定。
• 支持多种架构和损失函数，且无需重新调整超参数。

实验结果

研究问题

• RQ1 多尺度梯度流动是否能提升 GAN 在多种数据集和架构下的训练稳定性？
• RQ2 与标准 GAN 相比，保持多尺度梯度信号是否能降低对超参数的敏感性？
• RQ3 MSG-GAN 是否能在不使用渐进式训练或大量超参数调优的情况下，达到或超越最先进性能？
• RQ4 多尺度梯度反向传播如何影响高分辨率图像合成的质量与多样性？
• RQ5 所提出的方法对损失函数和网络架构的变化是否具有鲁棒性？

主要发现

• MSG-GAN 在多种数据集上实现了稳定的训练收敛，包括不同大小、分辨率和领域。
• 该模型在不同架构和损失函数下，使用相同的固定超参数，均保持一致的性能表现。
• 在所有测试基准上，其图像质量和保真度均达到或超过最先进 GAN 模型。
• 多尺度梯度机制有效缓解了无信息梯度问题，尤其在真实分布与生成分布重叠较低时。
• MSG-GAN 在大多数情况下消除了对渐进式训练的需求，同时仍能实现高分辨率图像合成。
• 该方法对架构和损失函数的变化表现出鲁棒性，凸显其泛化能力。