[论文解读] Comparing Generative Adversarial Network Techniques for Image Creation and Modification

Mathijs Pieters, Marco Wiering|arXiv (Cornell University)|Mar 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 11

一句话总结

本文比较了多种用于图像生成与修改的生成对抗网络（GAN）技术，评估了训练稳定性、条件生成以及通过编码器实现的图像重建性能。研究发现，WGAN-GP显著提升了训练稳定性和图像质量，而InfoGAN实现了解耦表示学习；然而，将判别器替换为胶囊网络会因架构限制导致性能下降。

ABSTRACT

Generative adversarial networks (GANs) have demonstrated to be successful at generating realistic real-world images. In this paper we compare various GAN techniques, both supervised and unsupervised. The effects on training stability of different objective functions are compared. We add an encoder to the network, making it possible to encode images to the latent space of the GAN. The generator, discriminator and encoder are parameterized by deep convolutional neural networks. For the discriminator network we experimented with using the novel Capsule Network, a state-of-the-art technique for detecting global features in images. Experiments are performed using a digit and face dataset, with various visualizations illustrating the results. The results show that using the encoder network it is possible to reconstruct images. With the conditional GAN we can alter visual attributes of generated or encoded images. The experiments with the Capsule Network as discriminator result in generated images of a lower quality, compared to a standard convolutional neural network.

研究动机与目标

• 评估并比较不同GAN变体（包括标准GAN、WGAN-GP、条件GAN和InfoGAN）的训练稳定性和图像质量。
• 探究在生成对抗网络中集成编码器网络以实现图像重建和潜在空间编码的可行性和有效性。
• 评估胶囊网络作为判别器在GAN中的性能，并与标准卷积神经网络进行比较。
• 探索无监督条件GAN（InfoGAN）和有监督条件GAN中的解耦表示学习。
• 分析不同目标函数和训练目标对MNIST和CelebA数据集上GAN性能的影响。

提出的方法

• 使用深度卷积神经网络训练标准GAN和WGAN-GP，其中WGAN-GP采用梯度惩罚以提升训练稳定性。
• 实现了一个带有监督标签的条件GAN，以及一个无监督的InfoGAN变体，通过类别变量和连续潜在变量学习解耦表示。
• 将编码器网络集成到GAN框架中，实现从图像到潜在向量的映射以及图像重建，类似于变分自编码器。
• 通过将标准CNN替换为胶囊网络架构，评估胶囊网络作为判别器的性能，以检测图像的全局特征。
• 使用MNIST和CelebA数据集进行训练和评估，并通过可视化手段评估图像质量、重建保真度和属性操控能力。
• 应用不同的损失函数，包括对抗损失和重建损失，并探索将判别器输出与重建目标相结合的方法。

实验结果

研究问题

• RQ1 WGAN-GP与标准GAN相比，在训练稳定性和图像质量方面表现如何？
• RQ2 编码器网络能否有效从GAN的潜在空间重建图像？不同数据集上的重建质量如何变化？
• RQ3 条件GAN和InfoGAN在多大程度上能够实现对生成图像视觉属性的解耦操控？
• RQ4 用胶囊网络替代标准判别器是否能提升GAN在图像生成任务中的性能？
• RQ5 不同的目标函数（如WGAN-GP和InfoGAN中的目标函数）如何影响GAN的学习动态和表示质量？

主要发现

• WGAN-GP显著提升了训练稳定性，减少了模式崩溃现象，从而生成了更高品质的图像。
• 编码器网络成功实现了从潜在空间的图像重建，在MNIST数据集上达到近乎完美的重建效果，而在更复杂的CelebA数据集上则得到良好但略模糊的结果。
• 当有标签信息时，条件GAN能够精确操控视觉属性，例如改变数字类别或人脸图像中的发色。
• InfoGAN实现了有效的解耦表示学习，其中连续潜在变量能够影响如数字宽度或发色等属性，即使在无显式监督的情况下亦可实现。
• 将胶囊网络作为判别器时，生成的图像质量低于标准CNN，可能由于其浅层且小规模的架构限制了特征学习能力。
• 本研究证实，目标函数设计（如WGAN-GP中的梯度惩罚）在稳定GAN训练和提升性能方面起着关键作用。