[论文解读] Face Super-Resolution Through Wasserstein GANs

Zhimin Chen, Yuguang Tong|arXiv (Cornell University)|May 6, 2017

Advanced Image Processing Techniques参考文献 10被引用 34

一句话总结

本文研究了在人脸超分辨率任务中使用带梯度惩罚的Wasserstein GAN（WGAN-GP）的方法，表明WGAN-GP能够在多种网络架构下实现稳定训练，并通过单调递减的判别器损失提供可靠的训练进度指标。研究证实，Wasserstein距离能有效衡量训练收敛性，并相比标准GAN显著减少模式崩溃现象。

ABSTRACT

Generative adversarial networks (GANs) have received a tremendous amount of attention in the past few years, and have inspired applications addressing a wide range of problems. Despite its great potential, GANs are difficult to train. Recently, a series of papers (Arjovsky & Bottou, 2017a; Arjovsky et al. 2017b; and Gulrajani et al. 2017) proposed using Wasserstein distance as the training objective and promised easy, stable GAN training across architectures with minimal hyperparameter tuning. In this paper, we compare the performance of Wasserstein distance with other training objectives on a variety of GAN architectures in the context of single image super-resolution. Our results agree that Wasserstein GAN with gradient penalty (WGAN-GP) provides stable and converging GAN training and that Wasserstein distance is an effective metric to gauge training progress.

研究动机与目标

• 系统评估Wasserstein GAN（WGAN）及带梯度惩罚的WGAN（WGAN-GP）在单图像人脸超分辨率任务中的有效性。
• 评估WGAN-GP是否能在无需严格架构约束的多种深度学习架构中实现稳定训练。
• 验证Wasserstein距离作为训练进度监控指标的可靠性。
• 研究L1损失权重对超分辨率任务中模型鲁棒性与图像质量的影响。
• 考察在强重建约束条件下，WGAN-GP是否能缓解人脸图像生成中的模式崩溃问题。

提出的方法

• 作者实现了三种目标函数的GAN训练：标准GAN、使用权重裁剪的WGAN，以及使用梯度惩罚的WGAN-GP。
• 在三种架构上评估这些目标函数：DCGAN（卷积网络）、MLP（全连接网络），以及带与不带批量归一化的ResNet（残差网络）。
• 生成器损失结合对抗损失与L1重建项，以增强生成图像与真实图像的相似性。
• WGAN-GP中的判别器损失通过梯度惩罚进行正则化，将梯度范数约束为1，从而替代权重裁剪。
• 通过判别器损失、Wasserstein距离和L1重建误差监控训练稳定性和收敛性。
• 从随机噪声中生成非挑选的样本，以评估潜在空间中的模式崩溃与多样性。

实验结果

研究问题

• RQ1 WGAN-GP训练是否在人脸超分辨率任务中相比标准GAN展现出更稳定且收敛的训练过程？
• RQ2 WGAN-GP是否能在多种架构（包括简单的MLP和复杂的ResNet）中保持稳定训练？
• RQ3 Wasserstein距离是否与训练进度具有良好相关性，可作为超参数调优或早停的可靠指标？
• RQ4 L1损失权重如何影响生成的超分辨率图像的鲁棒性与质量？
• RQ5 即使在L1损失强制匹配输入图像的条件下，WGAN-GP是否仍能相比标准GAN减少模式崩溃？

主要发现

• WGAN-GP训练展现出单调且稳定的判别器损失，表明训练过程持续稳定，与标准GAN中出现的振荡损失形成鲜明对比。
• 所有架构中Wasserstein距离均单调下降，证实其作为训练进度指标的有效性。
• 相比标准GAN和使用权重裁剪的WGAN，WGAN-GP生成的面部图像更清晰、更具多样性，尤其在ResNet等复杂架构上表现更优。
• 即使在ResNet架构中不使用批量归一化，该方法仍保持稳定，表明其对架构设计的约束更小。
• WGAN-GP对不同L1损失权重（γ值）表现出更强的鲁棒性，在不同γ值下均能维持更优的图像质量和一致性。
• 来自WGAN-GP的非挑选样本显示出显著少于标准GAN的模式崩溃现象，面部特征与表情更加多样化。