[论文解读] A survey on GANs for computer vision: Recent research, analysis and taxonomy

Guillermo Iglesias, Edgar Talavera+1 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Neural Network Applications被引用 8

一句话总结

本综述全面概述了生成对抗网络（GAN）在计算机视觉领域的最新进展，按架构和损失函数优化对 GAN 变体进行分类。分析了训练稳定性、FID 和 IS 等评估指标，以及在图像生成、图像翻译和图像合成中的应用，结论指出尽管扩散模型在稳定性和多样性方面超越了 GAN，但 GAN 由于其高效性与可扩展性，特别是通过 TransGAN 等架构，依然具有重要影响力。

ABSTRACT

In the last few years, there have been several revolutions in the field of deep learning, mainly headlined by the large impact of Generative Adversarial Networks (GANs). GANs not only provide an unique architecture when defining their models, but also generate incredible results which have had a direct impact on society. Due to the significant improvements and new areas of research that GANs have brought, the community is constantly coming up with new researches that make it almost impossible to keep up with the times. Our survey aims to provide a general overview of GANs, showing the latest architectures, optimizations of the loss functions, validation metrics and application areas of the most widely recognized variants. The efficiency of the different variants of the model architecture will be evaluated, as well as showing the best application area; as a vital part of the process, the different metrics for evaluating the performance of GANs and the frequently used loss functions will be analyzed. The final objective of this survey is to provide a summary of the evolution and performance of the GANs which are having better results to guide future researchers in the field.

研究动机与目标

• 提供计算机视觉领域近期 GAN 架构与损失函数优化的系统性分类体系。
• 分析 GAN 训练中的关键挑战，包括模式崩溃与不稳定性，并评估所提出的解决方案。
• 回顾并比较标准评估指标（如 FID、IS）在评估 GAN 性能与泛化能力方面的应用。
• 总结 GAN 在图像到图像翻译、文本到图像生成、视频合成及药物发现等实际领域中的应用。
• 从稳定性、多样性与计算成本角度，对比 GAN 与新兴替代方案（如扩散模型）的性能。

提出的方法

• 本综述系统性地回顾了 220 余篇近期 GAN 论文，重点关注架构创新与损失函数设计。
• 将 GAN 变体分为两大类：架构优化型 GAN（如 TransGAN、StyleGAN）与损失函数优化型 GAN（如 WGAN、SAGAN）。
• 采用标准指标（如 Fréchet Inception Distance（FID）、Inception Score（IS））及精确率/召回率，评估 GAN 性能，分析其优势与局限性。
• 研究将 Transformer 与 GAN 融合的混合架构，如 TransGAN，其通过自注意力机制替代卷积层，实现高分辨率图像生成。
• 探讨联邦 GAN 在隐私保护数据合成中的应用，即客户端本地训练并更新全局模型，而无需共享原始数据。
• 对比 GAN 与扩散模型，强调其在稳定性、避免模式崩溃及基于似然的训练方面的优势，同时指出其更高的推理成本。

实验结果

研究问题

• RQ1 近期 GAN 架构如何演进以应对训练不稳定性与模式崩溃问题？
• RQ2 在计算机视觉任务中，评估 GAN 性能最有效的损失函数与评估指标是什么？
• RQ3 GAN 在哪些应用领域展现出最先进性能？与扩散模型相比表现如何？
• RQ4 基于 Transformer 的 GAN（如 TransGAN）相较于卷积 GAN 在图像生成质量与分辨率方面有何提升？
• RQ5 从训练稳定性、推理速度与样本多样性角度，GAN 与扩散模型之间的权衡关系是什么？

主要发现

• TransGAN 是一种无卷积的 GAN，采用自注意力机制，在 CIFAR-10 上相比标准卷积 GAN 实现了更优的 FID 与 Inception Score。
• 扩散模型在稳定性与样本多样性方面优于 GAN，避免了模式崩溃并支持基于似然的生成，但计算成本更高。
• 联邦 GAN 实现了隐私保护的药物分子生成，在不共享敏感客户端数据的前提下，实现了高新颖性与多样性。
• 损失函数优化（如 WGAN 与 SAGAN）相比原始 GAN 公式，显著提升了训练稳定性与样本质量。
• 将 Transformer 集成到 GAN 中，可更好地建模长距离依赖关系，从而提升在行人轨迹预测等序列任务中的性能。
• 尽管扩散模型兴起，GAN 仍具相关性，因其高效性及在实时与资源受限应用场景中表现出色。