[论文解读] A Systematic Survey of Regularization and Normalization in GANs

Ziqiang Li, Muhammad Usman+5 more|arXiv (Cornell University)|Aug 19, 2020

Generative Adversarial Networks and Image Synthesis参考文献 139被引用 13

一句话总结

本文对生成对抗网络（GANs）中的正则化与归一化技术进行了全面综述，提出了一种基于三种训练视角的新型分类法：''真实与虚假''、''分布拟合''和''训练动态''。系统分析了主流方法在不同数据集上的目标、机制与性能，突出其在稳定训练和提升GAN性能方面的作用，相关技术已应用于SOTA模型如StyleGAN与BigGAN。

ABSTRACT

Generative Adversarial Networks (GANs) have been widely applied in different scenarios thanks to the development of deep neural networks. The original GAN was proposed based on the non-parametric assumption of the infinite capacity of networks. However, it is still unknown whether GANs can fit the target distribution without any prior information. Due to the overconfident assumption, many issues remain unaddressed in GANs' training, such as non-convergence, mode collapses, gradient vanishing. Regularization and normalization are common methods of introducing prior information to stabilize training and improve discrimination. Although a handful number of regularization and normalization methods have been proposed for GANs, to the best of our knowledge, there exists no comprehensive survey that primarily focuses on objectives and development of these methods, apart from some in-comprehensive and limited scope studies. In this work, we conduct a comprehensive survey on the regularization and normalization techniques from different perspectives of GANs training. First, we systematically describe different perspectives of GANs training and thus obtain the different objectives of regularization and normalization. Based on these objectives, we propose a new taxonomy. Furthermore, we compare the performance of the mainstream methods on different datasets and investigate the applications of regularization and normalization techniques that have been frequently employed in state-of-the-art GANs. Finally, we highlight potential future directions of research in this domain. Code and studies related to the regularization and normalization of GANs in this work is summarized on https://github.com/iceli1007/GANs-Regularization-Review.

研究动机与目标

• 为解决当前缺乏聚焦于GAN中正则化与归一化技术的全面、系统性综述的问题。
• 通过从三个核心视角分析GAN训练：''真实与虚假''、''分布拟合''和''训练动态''，识别并形式化正则化与归一化的不同目标。
• 提出一个统一的分类法，根据其底层训练目标与机制对现有方法进行组织。
• 在多个基准数据集上对主流正则化与归一化技术的性能进行实证比较。
• 突出这些技术在SOTA GAN架构中的集成情况，并识别未来研究的开放性挑战。

提出的方法

• 基于三种训练视角提出GAN中正则化与归一化的新型分类法：''真实与虚假''（基于判别损失）、''分布拟合''（最小化分布差异）和''训练动态''（稳定优化动态）。
• 系统地将现有方法归入所提出的分类法下，分析其理论动机与设计目标。
• 在标准数据集（如CIFAR-10、CelebA、LSUN）上对正则化与归一化方法进行定量比较，评估FID与IS等指标。
• 回顾并总结这些技术在SOTA GAN中的集成情况，包括PGGAN、BigGAN、StyleGAN2-ADA与StyleGAN-XL。
• 推出一个精选的代码库（GitHub），托管与GAN中正则化与归一化相关的代码与研究，以支持可复现性与社区使用。
• 分析自监督与数据增强作为正则化与归一化的正交但互补策略的作用。

实验结果

研究问题

• RQ1 当从''真实与虚假''、''分布拟合''和''训练动态''三个视角审视时，GAN中正则化与归一化技术的训练目标有何不同？
• RQ2 在不同数据集与架构下，各类正则化与归一化方法在FID、IS与训练稳定性方面的表现如何比较？
• RQ3 哪些正则化与归一化技术最常且最有效地集成到SOTA GAN模型中？原因是什么？
• RQ4 正则化与归一化旨在解决GAN训练中的哪些关键挑战，如模式崩溃、梯度消失与真实图像遗忘？
• RQ5 未来在提升GAN训练稳定性与泛化能力方面，哪些正则化与归一化研究方向最具前景？

主要发现

• 所提出的分类法通过其底层训练目标有效组织了多样化的正则化与归一化技术，为方法选择与开发提供了更清晰的框架。
• 梯度惩罚（如WGAN-GP）与谱归一化是最有效且广泛应用的技术，显著提升了多个基准上的FID分数与训练稳定性。
• 归一化技术如实例归一化（IN）与条件批归一化（CBN）在高保真度生成模型（如StyleGAN2-ADA与StyleGAN-XL）中至关重要。
• 自监督对比学习与自适应数据增强在现代GAN（如InsGen、StyleGAN2-ADA）中日益被采用，以提升判别器泛化能力并减少过拟合。
• 真实图像遗忘——即由于间接监督导致生成器无法保留真实图像特征——已成为一个关键但研究不足的问题，提示需要开发新型正则化策略。
• 研究表明，尽管许多技术能改善训练动态，但并无单一方法在所有情况下均优于其他方法；最佳选择取决于具体的GAN架构、数据集与训练目标。