[论文解读] FCC-GAN: A Fully Connected and Convolutional Net Architecture for GANs

Sukarna Barua, Sarah Erfani+1 more|arXiv (Cornell University)|May 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 23

一句话总结

该论文提出FCC-GAN，一种新颖的生成对抗网络（GAN）架构，将深度全连接层与池化层同卷积网络相结合，应用于生成器和判别器中，挑战了传统的仅使用卷积层的设计范式。该方法在样本质量、训练速度和稳定性方面均有提升，在四个基准数据集上实现了最先进的Inception分数和Fréchet Inception距离（FID）表现，其中FCC-GAN-P在所有指标上均优于标准CNN-based GAN。

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful class of generative models. Despite their successes, the most appropriate choice of a GAN network architecture is still not well understood. GAN models for image synthesis have adopted a deep convolutional network architecture, which eliminates or minimizes the use of fully connected and pooling layers in favor of convolution layers in the generator and discriminator of GANs. In this paper, we demonstrate that a convolution network architecture utilizing deep fully connected layers and pooling layers can be more effective than the traditional convolution-only architecture, and we propose FCC-GAN, a fully connected and convolutional GAN architecture. Models based on our FCC-GAN architecture learn both faster than the conventional architecture and also generate higher quality of samples. We demonstrate the effectiveness and stability of our approach across four popular image datasets.

研究动机与目标

• 挑战主流观点，即GAN应仅使用卷积层并辅以最少的全连接层。
• 探究相较于标准的仅卷积架构，深层全连接与池化层是否能提升GAN性能。
• 通过架构创新提升训练稳定性、样本质量与收敛速度。
• 在多种数据集与训练配置下验证所提架构的有效性。

提出的方法

• 生成器使用深层全连接层将低维噪声向量映射为高维图像特征表示，随后通过卷积层生成最终图像。
• 判别器使用卷积层提取图像特征，再通过深层全连接层将特征映射至低维空间，最终完成分类。
• 在判别器中使用池化层替代步幅卷积层，提升了训练稳定性和性能。
• 采用标准GAN训练目标与优化器（包括RMSProp、SGD和ADAM）在多个数据集上评估该架构。
• 进行批量归一化（BN）的消融研究，以评估其对训练稳定性和样本质量的影响。
• 在四个基准数据集（CIFAR-10、STL-10、CelebA和LSUN）上测试该方法，使用Inception Score与Fréchet Inception Distance（FID）作为评估指标。

实验结果

研究问题

• RQ1 将深层全连接与池化层整合进GAN架构是否能相较于标准的仅卷积设计，提升样本质量与训练稳定性？
• RQ2 采用两阶段图像生成流程——即通过全连接层将噪声映射为特征，再通过卷积层将特征生成图像——是否能取得更优结果？
• RQ3 在判别器中使用池化层与使用步幅卷积层相比，在训练稳定性和性能方面有何差异？
• RQ4 批量归一化对所提FCC-GAN架构的训练动态与输出质量有何影响？
• RQ5 FCC-GAN架构是否能在多样化的数据集与优化设置下保持优异性能并具备良好的泛化能力？

主要发现

• 在CIFAR-10数据集上，FCC-GAN-P的Inception Score达到6.196，显著优于RMSProp优化下CNN基线模型的5.951。
• 在SGD优化下，FCC-GAN-P的Inception Score为4.896，而CNN模型完全失败，得分仅为1.655，表明其具有更优的稳定性。
• FCC-GAN架构在所有数据集与优化算法下均比传统CNN-based GAN收敛更快。
• 消融研究显示，若从判别器中移除批量归一化，性能会严重下降，但FCC-GAN-P仍能生成可识别的图像，而CNN基线则无法生成有效样本。
• FCC-GAN-P在所有实验中均实现了最低的Fréchet Inception Distance（FID），表明其生成样本具有更高的保真度与多样性。
• 在FCC-GAN框架中，判别器使用池化层相比步幅卷积层能带来更好的训练稳定性和性能。