[论文解读] A Survey on Generative Adversarial Networks: Variants, Applications, and Training

Abdul Jabbar, Xi Li+1 more|arXiv (Cornell University)|Jun 9, 2020

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本综述全面概述了生成对抗网络（GANs）的发展，涵盖其变体、在计算机视觉与机器学习中的应用，以及训练挑战（如模式崩溃和梯度消失）。文章分析了稳定化技术，并指出了开放的研究问题，为研究人员在 GAN 的开发与部署中提供了结构化的参考。

ABSTRACT

The Generative Models have gained considerable attention in the field of unsupervised learning via a new and practical framework called Generative Adversarial Networks (GAN) due to its outstanding data generation capability. Many models of GAN have proposed, and several practical applications emerged in various domains of computer vision and machine learning. Despite GAN's excellent success, there are still obstacles to stable training. The problems are due to Nash-equilibrium, internal covariate shift, mode collapse, vanishing gradient, and lack of proper evaluation metrics. Therefore, stable training is a crucial issue in different applications for the success of GAN. Herein, we survey several training solutions proposed by different researchers to stabilize GAN training. We survey, (I) the original GAN model and its modified classical versions, (II) detail analysis of various GAN applications in different domains, (III) detail study about the various GAN training obstacles as well as training solutions. Finally, we discuss several new issues as well as research outlines to the topic.

研究动机与目标

• 系统性回顾生成对抗网络（GANs）自原始 GAN 模型以来的演进与变体。
• 分析 GAN 在计算机视觉、图像处理和机器学习领域中的多样化应用。
• 识别并分类 GAN 中的关键训练障碍，包括模式崩溃、梯度消失以及纳什均衡的不稳定性。
• 评估并总结旨在稳定 GAN 训练的现有训练解决方案。
• 突出 GAN 研究中的新兴挑战与未来研究方向。

提出的方法

• 调研原始 GAN 框架及其经典变体（如 DCGAN、CycleGAN 和 StyleGAN），以分析其在架构与训练方面的创新。
• 将 GAN 的应用分类为图像生成、图像到图像翻译、文本到图像合成以及数据增强等类别。
• 通过问题分类法分析训练不稳定性问题：包括模式崩溃、梯度消失、内部协变量偏移以及缺乏评估指标。
• 回顾如谱归一化、梯度惩罚和改进损失函数等稳定化技术，以提升训练收敛性。
• 综合近期文献的见解，识别 GAN 训练失败的重复模式及其缓解策略。
• 系统性讨论未解决的挑战，包括评估指标与 GAN 的泛化能力，以指导未来研究。

实验结果

研究问题

• RQ1 自原始 GAN 模型以来，GAN 变体在架构与训练方面有哪些关键进展？
• RQ2 GAN 在计算机视觉与机器学习的不同领域中有哪些典型应用？
• RQ3 GAN 训练不稳定的主因是什么，它们如何影响模型性能？
• RQ4 提出了哪些训练技术以稳定 GAN 训练，其有效性如何？
• RQ5 GAN 开发中仍存在哪些未解决的挑战与未来研究方向？

主要发现

• 原始 GAN 模型通过生成器与判别器之间的极小极大博弈实现了高质量的数据生成，但存在训练不稳定的缺陷。
• 如 DCGAN 和 StyleGAN 等变体通过采用转置卷积和基于风格的调制等架构创新，显著提升了训练稳定性和图像质量。
• GAN 的应用涵盖图像合成、超分辨率、人脸编辑以及数据增强，在多种计算机视觉任务中表现出色。
• 模式崩溃与梯度消失仍是持续存在的挑战，常导致生成结果多样性差且训练难以收敛。
• 梯度惩罚与谱归一化等技术通过在判别器上施加利普希茨约束，已被证明能有效稳定训练过程。
• 尽管已有进展，但缺乏可靠的评估指标仍严重阻碍 GAN 模型的客观比较与基准测试。