[论文解读] Energy-relaxed Wasserstein GANs(EnergyWGAN): Towards More Stable and High Resolution Image Generation.

Jiqing Wu, Zhiwu Huang+2 more|arXiv (Cornell University)|Dec 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 7

一句话总结

本文提出EnergyWGAN，一种新颖的能量松弛Wasserstein GAN框架，通过引入对称分歧目标，将WGAN泛化，从而提升训练稳定性并实现高分辨率图像生成。该方法消除了对固定k-Lipschitz约束的需求，支持自然的GAN堆叠，实现在标准基准和真实世界高分辨率数据集上的最先进性能。

ABSTRACT

Recently, generative adversarial networks (GANs) have achieved great impacts on a broad number of applications, including low resolution(LR) image synthesis. However, they suffer from unstable training especially when image resolution increases. To overcome this bottleneck, this paper generalizes the state-of-the-art Wasserstein GANs (WGANs) to an energy-relaxed objective which enables more stable and higher-resolution image generation. The benefits of this generalization can be summarized in three main points. Firstly, the proposed EnergyWGAN objective guarantees a valid symmetric divergence serving as a more rigorous and meaningful quantitative measure. Secondly, EnergyWGAN is capable of searching a more faithful solution space than the original WGANs without fixing a specific $k$-Lipschitz constraint. Finally, the proposed EnergyWGAN offers a natural way of stacking GANs for high resolution image generation. In our experiments we not only demonstrate the stable training ability of the proposed EnergyWGAN and its better image generation results on standard benchmark datasets, but also show the advantages over the state-of-the-art GANs on a real-world high resolution image dataset.

研究动机与目标

• 解决GAN在训练过程中，尤其是在高分辨率图像下的不稳定性问题。
• 克服标准WGAN中固定k-Lipschitz约束带来的限制，这些约束限制了解空间的保真度。
• 提出一种更严格且对称的分歧度量，以提升GAN性能的定量评估。
• 通过多GAN的自然堆叠机制，实现可扩展的高分辨率图像生成。
• 在标准基准和真实世界高分辨率数据集上展示卓越性能。

提出的方法

• 通过引入能量松弛目标，泛化WGAN，以更灵活的能量基正则化替代严格的k-Lipschitz约束。
• 从能量松弛目标中定义一种对称分歧度量，确保数学严谨性并提升可解释性。
• 设计一种训练流程，使判别器能够在不强制固定Lipschitz常数的情况下，学习对真实数据分布更忠实的近似。
• 以分层方式支持多个GAN的堆叠，每一阶段生成更高分辨率的特征，从而实现可扩展的高分辨率合成。
• 利用对称分歧作为可靠的训练度量，以监控优化过程中的分布对齐情况。
• 将能量松弛目标集成到GAN损失函数中，以稳定训练并提升生成样本质量。

实验结果

研究问题

• RQ1 能量松弛目标是否能在不强制固定k-Lipschitz约束的情况下，提升GAN的训练稳定性？
• RQ2 所提出的对称分歧是否能提供比传统WGAN度量更合理且更严谨的GAN性能评估指标？
• RQ3 EnergyWGAN框架是否能自然支持GAN的堆叠，以实现高分辨率图像生成？
• RQ4 在真实世界高分辨率数据集上，EnergyWGAN与最先进GAN相比，在图像质量和训练稳定性方面表现如何？
• RQ5 Lipschitz约束的松弛在多大程度上使训练能够访问更忠实的解空间？

主要发现

• 与标准WGAN相比，EnergyWGAN在更高分辨率下实现了更稳定的训练。
• 所提出的对称分歧作为定量度量，比传统WGAN度量更严谨且更具意义。
• 通过避免固定特定k-Lipschitz约束，EnergyWGAN使模型能够进入更忠实的解空间。
• 该框架支持GAN的自然堆叠，实现可扩展的、分层的高分辨率图像生成。
• 在CIFAR-10和CelebA等标准基准上，EnergyWGAN展现出更优的图像生成质量。
• 在真实世界高分辨率图像数据集上，EnergyWGAN在训练稳定性和样本保真度方面均优于最先进GAN。