[论文解读] Generative Adversarial Networks (GANs Survey): Challenges, Solutions, and Future Directions

Divya Saxena, Jiannong Cao|arXiv (Cornell University)|Apr 30, 2020

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本综述对生成对抗网络（GAN）训练中的挑战进行了全面、系统的分析，包括模式崩溃、非收敛性和不稳定性。它提出了一种新颖的分类法，根据关键研究问题——网络架构、目标函数和优化算法——对解决方案进行组织，深入回顾了 GAN 变体，并指出了该领域有前景的未来研究方向。

ABSTRACT

Generative Adversarial Networks (GANs) is a novel class of deep generative models which has recently gained significant attention. GANs learns complex and high-dimensional distributions implicitly over images, audio, and data. However, there exists major challenges in training of GANs, i.e., mode collapse, non-convergence and instability, due to inappropriate design of network architecture, use of objective function and selection of optimization algorithm. Recently, to address these challenges, several solutions for better design and optimization of GANs have been investigated based on techniques of re-engineered network architectures, new objective functions and alternative optimization algorithms. To the best of our knowledge, there is no existing survey that has particularly focused on broad and systematic developments of these solutions. In this study, we perform a comprehensive survey of the advancements in GANs design and optimization solutions proposed to handle GANs challenges. We first identify key research issues within each design and optimization technique and then propose a new taxonomy to structure solutions by key research issues. In accordance with the taxonomy, we provide a detailed discussion on different GANs variants proposed within each solution and their relationships. Finally, based on the insights gained, we present the promising research directions in this rapidly growing field.

研究动机与目标

• 识别并分类 GAN 训练中的核心挑战，包括模式崩溃、非收敛性和训练不稳定性。
• 对 GAN 设计与优化中提出的解决方案进行全面且系统的回顾，涵盖三个关键维度：架构、目标函数和优化算法。
• 提出一种新分类法，基于潜在的研究问题对 GAN 解决方案进行结构化组织，以更清晰地理解 GAN 变体之间的关系。
• 分析各类解决方案中不同 GAN 变体的演变过程与有效性，突出关键进展与局限性。
• 基于对现有解决方案的调研，识别并概述 GAN 领域有前景的未来研究方向。

提出的方法

• 作者对 GAN 相关研究进行了系统性文献回顾，重点关注截至 2023 年发表的工作，尤其聚焦于解决训练不稳定性与模式崩溃的方案。
• 他们识别出三个主要研究问题：网络架构设计、目标函数选择和优化算法选取，构成了新分类法的基础。
• 针对每一项研究问题，本文根据其架构创新、损失函数修改和优化策略，对 GAN 变体进行分类与分析。
• 该综述在各自解决方案类别的背景下，评估了各种 GAN 变体（如 InfoGAN、StyleGAN 和 Wasserstein GAN）的性能与局限性。
• 该方法包括对谱归一化、梯度惩罚和自适应优化器等技术的对比分析，将其与训练稳定性与模式覆盖性的提升相联系。
• 最终的综合将研究发现整合为一个结构化框架，以指导未来研究，强调尚未充分探索的领域与开放性挑战。

实验结果

研究问题

• RQ1 训练 GAN 的主要挑战是什么？它们在模式崩溃、非收敛性和不稳定性方面如何表现？
• RQ2 GAN 中的架构改进如何提升训练稳定性和样本质量？
• RQ3 替代性目标函数（如 Wassertein 距离或对抗对比损失）在缓解训练问题方面发挥什么作用？
• RQ4 优化算法及技术（如梯度惩罚或谱归一化）如何影响 GAN 的收敛性与性能？
• RQ5 基于当前解决方案趋势与局限性，GAN 发展中最具前景的未来研究方向是什么？

主要发现

• 该综述将模式崩溃、非收敛性和训练不稳定性识别为 GAN 训练中的三大主导挑战，主要由不良的架构设计、不恰当的损失函数和次优的优化策略引起。
• 架构创新（如跳跃连接、残差块以及基于风格的归一化，例如在 StyleGAN 中）显著提升了训练稳定性和样本多样性。
• 基于 Wassertein 距离的目标函数（如 WGAN、WGAN-GP）相比原始 GAN 损失，表现出更优的收敛性并减少了模式崩溃。
• 梯度惩罚和谱归一化等技术通过在判别器网络上强制执行 LIPSCHITZ 约束，有效稳定了训练过程。
• 自适应优化算法（如结合学习率调度的 Adam）在许多 GAN 场景下相较于标准 SGD 展现出更优的性能。
• 所提出的分类法能够根据核心解决方案方法对 GAN 变体进行清晰分类，揭示了研究中的空白，例如在非条件设置下对解耦表征学习的研究仍显不足。