[论文解读] A Large-Scale Study on Regularization and Normalization in GANs

Karol Kurach, Mario Lučić+3 more|arXiv (Cornell University)|Jul 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 31

一句话总结

这项大规模实证研究在多个数据集和架构上评估了生成对抗网络（GAN）中的正则化与归一化技术，发现非饱和 GAN 损失结合谱归一化可默认提供稳定且高质量的结果，而梯度惩罚在计算资源充足时可进一步提升性能。该研究提供了开源代码和预训练模型，以提升 GAN 研究的可复现性与基准测试水平。

ABSTRACT

Generative adversarial networks (GANs) are a class of deep generative models which aim to learn a target distribution in an unsupervised fashion. While they were successfully applied to many problems, training a GAN is a notoriously challenging task and requires a significant number of hyperparameter tuning, neural architecture engineering, and a non-trivial amount of "tricks". The success in many practical applications coupled with the lack of a measure to quantify the failure modes of GANs resulted in a plethora of proposed losses, regularization and normalization schemes, as well as neural architectures. In this work we take a sober view of the current state of GANs from a practical perspective. We discuss and evaluate common pitfalls and reproducibility issues, open-source our code on Github, and provide pre-trained models on TensorFlow Hub.

研究动机与目标

• 在多种数据集和架构上对 GAN 中的正则化与归一化技术进行全面的实证评估。
• 识别在新数据集上训练 GAN 时，损失函数、归一化方法与架构选择的最佳且最稳定的组合。
• 解决 GAN 研究中常见的可复现性问题，包括数据集预处理、非确定性行为以及实现细节缺失。
• 提供开源参考实现与预训练模型，作为未来 GAN 研究的可靠基线。

提出的方法

• 在多个大规模数据集（如 CIFAR-10、ImageNet）上，结合文献报告的设置与序列贝叶斯优化进行超参数调优。
• 评估四种主要损失函数：非饱和 GAN、最小最大 GAN、WGAN 和最小二乘 GAN，测量其对 FID 和 IS 指标的影响。
• 测试两种关键正则化技术：梯度惩罚（GP）与谱归一化（SN），评估其对训练稳定性和样本质量的影响。
• 在所有设置中对比两种流行的神经网络架构——残差网络风格与渐进式生长架构，以评估架构的鲁棒性。
• 系统分析数据预处理的影响，包括裁剪与上采样，以识别影响可复现性的不一致因素。
• 通过研究 GPU 级别的随机性及其对得分一致性的影响，解决训练中的非确定性问题，倡导采用确定性训练实践。

实验结果

研究问题

• RQ1 在多样化数据集上，哪种损失函数、归一化方法与架构的组合能实现最稳定且最高质量的 GAN 训练？
• RQ2 梯度惩罚与谱归一化在高容量 GAN 中如何影响训练稳定性和样本质量？
• RQ3 不同的数据预处理策略（如裁剪、上采样）在多大程度上影响可复现性与模型性能？
• RQ4 GAN 训练中非确定性的主要来源是什么？如何在不显著增加计算成本的前提下加以缓解？
• RQ5 本项大规模研究的发现能否推广至更复杂的架构与条件 GAN 设置？

主要发现

• 非饱和 GAN 损失在所有评估的数据集与超参数设置下均表现出更优的稳定性和一致性能。
• 谱归一化显著提升了训练稳定性和样本质量，尤其在高容量架构中，建议作为默认选择。
• 当计算资源充足时，梯度惩罚可进一步提升性能，尤其在与非饱和 GAN 损失结合时效果更明显。
• 残差网络风格与渐进式生长架构均实现了强劲性能，进一步的架构改进对性能提升有限。
• 可复现性常因数据预处理不一致、实现细节缺失以及非确定性训练行为而受损。
• 研究发现，实现不匹配与缺乏代码共享是公平且准确比较 GAN 方法的主要障碍。