[论文解读] High-resolution Deep Convolutional Generative Adversarial Networks

J. de Curtò, I. de Zarzà+3 more|arXiv (Cornell University)|Nov 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 25

一句话总结

该论文提出HDCGAN，一种高分辨率深度卷积生成对抗网络架构，通过结合SELU激活函数与批量归一化（BatchNorm），并引入基于望远镜的输入放大机制（Glasses），在人脸生成任务中实现了最先进性能。该方法可生成512×512分辨率的逼真、多样化人脸图像，模式崩溃现象极少，且在CelebA数据集上创下新SOTA纪录：MS-SSIM为0.1978，Fréchet Inception Distance（FID）为8.44。

ABSTRACT

Generative Adversarial Networks (GANs) [Goodfellow et al. 2014] convergence in a high-resolution setting with a computational constrain of GPU memory capacity has been beset with difficulty due to the known lack of convergence rate stability. In order to boost network convergence of DCGAN (Deep Convolutional Generative Adversarial Networks) [Radford et al. 2016] and achieve good-looking high-resolution results we propose a new layered network, HDCGAN, that incorporates current state-of-the-art techniques for this effect. Glasses, a mechanism to arbitrarily improve the final GAN generated results by enlarging the input size by a telescope ζ is also presented. A novel bias-free dataset, Curtó & Zarza, containing human faces from different ethnical groups in a wide variety of illumination conditions and image resolutions is introduced. Curtó is enhanced with HDCGAN synthetic images, thus being the first GAN augmented dataset of faces. We conduct extensive experiments on CelebA [Liu et al. 2015], CelebA-hq [Karras et al. 2018] and Curtó. HDCGAN is the current state-of-the-art in synthetic image generation on CelebA achieving a MS-SSIM of 0.1978 and a FRÉCHET Inception Distance of 8.44.

研究动机与目标

• 解决在GPU显存受限条件下，高分辨率图像生成中生成对抗网络（GAN）的训练不稳定与收敛性差的问题。
• 开发一种可扩展、稳定的GAN架构，能够生成高质量、多样化的512×512人脸图像。
• 引入一个新的、平衡且无偏见的人脸数据集（Curtó & Zarza），其在人口统计学与属性多样性方面表现丰富，以支持GAN的稳健评估。
• 通过HDCGAN生成的合成图像增强该数据集，创建首个基于GAN增强的人脸数据集。
• 证明HDCGAN能够生成训练数据中未出现过的全新、逼真的面部样本，避免记忆化现象。

提出的方法

• HDCGAN采用深层卷积架构，结合SELU激活函数与批量归一化（BS）层，以在高分辨率设置下稳定训练并提升收敛性。
• 模型采用渐进式生长策略，从低分辨率逐步训练至高分辨率，以稳定细粒度细节的学习。
• Glasses机制通过望远镜因子ζ增大输入噪声尺寸，实现对生成图像质量的任意提升，而无需修改卷积滤波器。
• 生成器与判别器通过最小最大损失进行对抗训练，结合谱归一化与权重裁剪以稳定训练过程。
• 模型在CelebA与CelebA-HQ上进行训练，并在下采样后的图像版本上使用MS-SSIM与Fréchet Inception Distance（FID）进行评估。
• 从训练好的HDCGAN生成合成图像，并用于增强Curtó & Zarza数据集，构建GAN增强型人脸数据集。

实验结果

研究问题

• RQ1 GAN架构能否在最小化模式崩溃与高感知质量的前提下，实现稳定、高分辨率（512×512）的人脸生成？
• RQ2 SELU与BatchNorm的结合在深层卷积GAN中如何提升训练稳定性和收敛性？
• RQ3 Glasses机制——通过望远镜因子提升输入噪声尺寸——在多大程度上改善了生成图像的质量与多样性？
• RQ4 HDCGAN能否生成真实、新颖的人脸样本，且这些样本并非来自训练数据的记忆化？如何验证这一点？
• RQ5 经HDCGAN生成图像增强后的Curtó & Zarza数据集，能否作为评估人脸生成中GAN性能的稳健、无偏基准？

主要发现

• 在CelebA 128×128分辨率下，HDCGAN的MS-SSIM达到0.1978，显著优于先前SOTA方法（如Karras等人[2018]：0.2838）。
• 在CelebA 64×64分辨率下，HDCGAN的Fréchet Inception Distance（FID）为8.44，超越先前SOTA（Karras等人[2018]：16.3）。
• 该模型可生成高度细节丰富、多样化且逼真的512×512人脸图像，失败案例随训练过程减少，仅出现轻微伪影。
• 最近邻分析表明，生成样本并非来自训练集的记忆化，因为其在训练数据中的最近邻样本具有明显差异。
• 经HDCGAN生成的4,239张图像增强后的Curtó & Zarza数据集，是首个基于GAN增强的人脸数据集，具备丰富的属性多样性与均衡的表征。
• Glasses机制通过扩展输入噪声尺寸，实现了持续的质量提升，证明了无需修改网络架构即可实现更高分辨率生成。