[论文解读] Fast-converging Conditional Generative Adversarial Networks for Image Synthesis

Chengcheng Li, Zi Wang+1 more|arXiv (Cornell University)|May 5, 2018

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出快速收敛的条件生成对抗网络（FC-GAN），通过引入一种先进的辅助分类器，将真实类别与专用的'假'类别区分开来，避免真实样本与生成样本之间的混淆，从而加速训练。与AC-GAN相比，该方法在MNIST和CIFAR-10数据集上实现了更快的收敛速度和具有竞争力的图像质量，训练达到平衡状态的速度最快可提升30%。

ABSTRACT

Building on top of the success of generative adversarial networks (GANs), conditional GANs attempt to better direct the data generation process by conditioning with certain additional information. Inspired by the most recent AC-GAN, in this paper we propose a fast-converging conditional GAN (FC-GAN). In addition to the real/fake classifier used in vanilla GANs, our discriminator has an advanced auxiliary classifier which distinguishes each real class from an extra `fake' class. The `fake' class avoids mixing generated data with real data, which can potentially confuse the classification of real data as AC-GAN does, and makes the advanced auxiliary classifier behave as another real/fake classifier. As a result, FC-GAN can accelerate the process of differentiation of all classes, thus boost the convergence speed. Experimental results on image synthesis demonstrate our model is competitive in the quality of images generated while achieving a faster convergence rate.

研究动机与目标

• 为解决条件生成对抗网络收敛缓慢的问题，特别是针对多类别中真实样本与生成样本难以区分的问题。
• 通过重新设计判别器中的辅助分类器，避免真实数据与生成数据混在同一类别中，从而提升训练的稳定性和速度。
• 增强判别器同时学习类别特定特征与真实/假样本区分的能力。
• 在不牺牲图像质量的前提下，实现条件图像生成任务中的更快收敛。
• 在标准基准如MNIST和CIFAR-10上通过定量和定性评估验证该方法的有效性。

提出的方法

• FC-GAN中的判别器包含一个先进的辅助分类器，该分类器将真实样本分配到其真实类别，将生成样本分配到一个专用的'假'类别，该类别与真实类别相区分。
• 该设计可防止辅助分类器因在相同类别中混合真实与生成数据而产生混淆，从而提升类别判别能力。
• '假'类别还使辅助分类器能够作为第二重真实/假样本判别器，强化主判别器的目标。
• 整体损失函数结合了标准GAN损失（源损失）和在N+1个类别上的分类损失（N个真实类别 + 1个假类别）。
• 生成器同时依赖于潜在噪声和类别标签进行条件控制，确保实现可控的图像生成。
• 网络架构采用卷积和转置卷积层，配合批量归一化和ReLU激活函数，具体结构详见MNIST部分的表1。

实验结果

研究问题

• RQ1 在辅助分类器中引入专用的'假'类别是否能提升条件生成对抗网络的收敛速度？
• RQ2 在分类头中将真实数据与生成数据分离，是否能减少混淆并提升训练稳定性？
• RQ3 辅助分类器是否能同时充当真实/假样本判别器，从而增强整体生成对抗网络的训练动态？
• RQ4 在标准基准上，FC-GAN与AC-GAN相比在收敛速度和图像质量方面表现如何？
• RQ5 所提出的方法在加速训练的同时，是否保持或提升了图像保真度与多样性？

主要发现

• 在MNIST数据集上，FC-GAN仅需约13个周期即可收敛，而AC-GAN需20个周期，表明训练速度显著提升。
• 在CIFAR-10数据集上，FC-GAN在20个周期内达到与AC-GAN相当的性能，而AC-GAN需50个周期以上才能达到相同结果。
• 在CIFAR-10上，Parzen窗估计值从AC-GAN的581.8 ± 5.4提升至FC-GAN的646.9 ± 5.3，表明密度估计能力更优。
• 在CIFAR-10上，Inception分数从AC-GAN的4.190 ± 0.08提升至FC-GAN的6.360 ± 0.14，表明图像质量与多样性显著改善。
• 在MNIST上，FC-GAN的Inception分数略高（2.238 ± 0.03）于AC-GAN（2.216 ± 0.04），而Parzen窗估计值改善较小。
• 视觉样本显示，FC-GAN在仅10个周期后即可生成更清晰、更多样化的数字，而AC-GAN需20个周期以上才能达到相似质量。