[论文解读] Megapixel Size Image Creation using Generative Adversarial Networks

Marco Marchesi|arXiv (Cornell University)|May 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 38

一句话总结

本文提出了一种改进的DCGAN框架，仅使用少于2,000张图像的有限数据集，通过优化的训练动态和受限的潜在空间噪声，生成高达1024×1024像素的逼真照片级图像，有效减少伪影并防止模式崩溃或训练发散。

ABSTRACT

Since its appearance, Generative Adversarial Networks (GANs) have received a lot of interest in the AI community. In image generation several projects showed how GANs are able to generate photorealistic images but the results so far did not look adequate for the quality standard of visual media production industry. We present an optimized image generation process based on a Deep Convolutional Generative Adversarial Networks (DCGANs), in order to create photorealistic high-resolution images (up to 1024x1024 pixels). Furthermore, the system was fed with a limited dataset of images, less than two thousand images. All these results give more clue about future exploitation of GANs in Computer Graphics and Visual Effects.

研究动机与目标

• 解决使用少于2,000张图像的小型数据集生成高分辨率、逼真照片级图像的挑战。
• 克服在扩展到百万像素级别图像尺寸（1024×1024像素）时GAN训练不稳定的难题，此前该目标尚未实现。
• 在训练数据有限且图像分辨率高的情况下，最大限度减少生成图像中的伪影和模式崩溃。
• 通过确保逼真度和稳定性，使GAN生成的图像可实际应用于商业视觉媒体制作。

提出的方法

• 使用TensorFlow实现深度卷积神经网络生成对抗网络（DCGAN），根据图像分辨率动态调整小批量大小。
• 采用交替训练更新策略——每50步更新一次生成器和判别器，以稳定损失并防止发散。
• 将潜在空间噪声输入限制在[-0.5, 0.5]范围内的均匀分布，相比标准的[-1.0, 1.0]范围，显著减少了伪影。
• 在包含1,796至1,807张女性面部图像的数据集上进行训练，这些图像来自杂志和社交媒体，其中70%的图像尺寸小于512×512像素。
• 使用单张NVIDIA Pascal Titan X GPU，通过将小批量大小从128（192×192像素时）调整至6（1024×1024像素时）来优化内存使用。
• 采用渐进式训练策略，从192×192像素逐步生成至1024×1024像素，并采用支持高分辨率生成的网络架构设计。

实验结果

研究问题

• RQ1 能否使用少于2,000张图像的数据集，使GAN模型生成1024×1024像素的逼真照片级图像？
• RQ2 在数据有限的情况下，如何防止将GAN扩展至高分辨率图像生成时的训练发散？
• RQ3 将潜在空间噪声分布限制后，能在多大程度上减少生成图像中的伪影？
• RQ4 交替训练更新是否能稳定高分辨率GAN训练过程中生成器和判别器的损失？

主要发现

• 该模型成功生成了1024×1024像素的逼真照片级图像，这是首次在小数据集上实现该分辨率的GAN生成。
• 使用受限的潜在空间噪声范围[-0.5, 0.5]相比标准范围[-1.0, 1.0]，显著减少了视觉伪影。
• 每50步进行一次交替训练更新，稳定了损失函数，使所有图像尺寸下的loss(D) < 1且loss(G) < 3，且未出现发散。
• 尽管70%的数据集图像尺寸小于512×512像素，模型仍通过上采样和生成式学习有效推断出高分辨率细节。
• 系统在单张NVIDIA Pascal Titan X上实现了稳定训练，证明了在有限GPU内存下实现高分辨率GAN的可行性。
• 该方法生成的图像适用于商业视觉媒体领域，符合行业对逼真度和画质的高标准要求。