[论文解读] Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications

Ming-Yu Liu, Xun Huang+3 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Image Processing Techniques参考文献 250被引用 33

一句话总结

本论文提供了关于用于图像和视频合成的GAN的全面综述，详细介绍了训练稳定化技术、架构，以及从图像翻译到神经渲染等一系列应用。

ABSTRACT

The generative adversarial network (GAN) framework has emerged as a powerful tool for various image and video synthesis tasks, allowing the synthesis of visual content in an unconditional or input-conditional manner. It has enabled the generation of high-resolution photorealistic images and videos, a task that was challenging or impossible with prior methods. It has also led to the creation of many new applications in content creation. In this paper, we provide an overview of GANs with a special focus on algorithms and applications for visual synthesis. We cover several important techniques to stabilize GAN training, which has a reputation for being notoriously difficult. We also discuss its applications to image translation, image processing, video synthesis, and neural rendering.

研究动机与目标

• 在无条件和条件设置下，推动使用 GANs 进行灵活、数据驱动的图像和视频合成。
• 综述稳定化技术和训练动态，以解决常见的 GAN 失败问题。
• 概述生成器和判别器的架构演变，以提升质量和可控性。
• 回顾基于 GAN 的应用，包括图像翻译、图像处理、视频合成和神经渲染。

提出的方法

• 描述并比较用于判别器和生成器更新的 GAN 损失函数和目标公式。
• 解释训练方案（同时更新与交替更新）以及优化选择（例如 TTUR、ADAM、RMSProp）。
• 综述正则化技术（梯度惩罚、谱归一化、特征匹配、感知损失、模型平均）。
• 追踪生成器和判别器架构的演变，包括条件判别器、投影式判别器和条件激活。
• 讨论图像翻译框架（有监督和无监督）以及多模态/多样化翻译方法（例如 CycleGAN、UNIT、MUNIT、StarGAN、SPADE）。

实验结果

研究问题

• RQ1 哪些主要的 GAN 损失和训练动态能够实现稳定的图像和视频合成？
• RQ2 生成器和判别器的架构如何演变以提高质量、可控性和效率？
• RQ3 在有监督和无监督设置中，面向图像到图像翻译的最先进方法有哪些，包括多模态输出？
• RQ4 GANs 如何应用于图像处理和神经渲染任务，以及它们的局限性？
• RQ5 正则化技术和训练方案在实践中如何影响 GANs 的稳定性和性能？

主要发现

• GANs 提供了一种灵活、数据驱动的目标，用于在无条件和有条件设置中生成真实感强的图像和视频。
• 一系列稳定化技术（梯度惩罚、谱归一化、特征匹配、感知损失、模型平均）可以提高训练可靠性和输出质量。
• 条件化架构（条件归一化、条件卷积、投影判别器）提升对带标签或成对数据的可控性和性能。
• 图像到图像翻译已从有监督（pix2pix）发展到无监督（CycleGAN、UNIT、StarGAN），并具有多模态和示例引导变体（MUNIT、FUNIT、SPADE）。
• 从多层感知机（MLPs）到深度卷积/残差生成器和判别器的明确架构演变，持续的改进由归一化和条件化机制的进展驱动。