[论文解读] Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Nov 25, 2021

Anomaly Detection Techniques and Applications被引用 11

一句话总结

本教程与综述论文全面概述了生成对抗网络（GANs）及对抗自编码器，涵盖基础概念、高级变体及其应用。它解释了生成器与判别器网络如何通过对抗训练相互竞争以提升样本质量，同时详细阐述了缓解模式崩溃、提高训练稳定性以及通过自编码器架构（如AAE、PixelGAN和IAE）实现图像到图像翻译、文本到图像生成和降维的方法。

ABSTRACT

This is a tutorial and survey paper on Generative Adversarial Network (GAN), adversarial autoencoders, and their variants. We start with explaining adversarial learning and the vanilla GAN. Then, we explain the conditional GAN and DCGAN. The mode collapse problem is introduced and various methods, including minibatch GAN, unrolled GAN, BourGAN, mixture GAN, D2GAN, and Wasserstein GAN, are introduced for resolving this problem. Then, maximum likelihood estimation in GAN are explained along with f-GAN, adversarial variational Bayes, and Bayesian GAN. Then, we cover feature matching in GAN, InfoGAN, GRAN, LSGAN, energy-based GAN, CatGAN, MMD GAN, LapGAN, progressive GAN, triple GAN, LAG, GMAN, AdaGAN, CoGAN, inverse GAN, BiGAN, ALI, SAGAN, Few-shot GAN, SinGAN, and interpolation and evaluation of GAN. Then, we introduce some applications of GAN such as image-to-image translation (including PatchGAN, CycleGAN, DeepFaceDrawing, simulated GAN, interactive GAN), text-to-image translation (including StackGAN), and mixing image characteristics (including FineGAN and MixNMatch). Finally, we explain the autoencoders based on adversarial learning including adversarial autoencoder, PixelGAN, and implicit autoencoder.

研究动机与目标

• 为研究人员和从业者提供生成对抗网络（GANs）及对抗自编码器的统一教程与综述。
• 通过Wasserstein GAN、DCGAN和渐进式GAN等高级变体，解决GAN训练中的关键挑战，如模式崩溃。
• 解释对抗学习在自编码器中的集成方式，以实现表征学习与降维。
• 综述在图像到图像翻译、文本到图像生成以及基于CycleGAN、StackGAN和FineGAN等模型的特征混合方面的应用。
• 澄清对抗学习在生成任务与对抗攻击之间的区别，避免文献中的混淆。

提出的方法

• 采用竞争性生成框架，其中生成器生成假数据，判别器区分真实与假样本，通过最小最大损失进行优化。
• 引入条件GAN和DCGAN，通过架构约束和条件输入提高训练稳定性和样本质量。
• 利用对抗训练对自编码器中的潜在空间分布进行正则化，通过GAN式判别器确保生成的潜在码与先验分布（如高斯分布）匹配。
• 应用f-GAN、对抗变分贝叶斯和贝叶斯GAN，以改进潜在空间中的似然估计与不确定性建模。
• 采用特征匹配、基于能量的GAN和MMD GAN以稳定训练并提升模式覆盖度。
• 在自编码器中采用多阶段训练：重建阶段（使用重建损失），以及两个对抗阶段（潜在先验匹配与重建数据分布匹配）。

实验结果

研究问题

• RQ1 对抗训练如何用于提升GAN中生成样本的质量与多样性？
• RQ2 哪些关键的架构与训练改进能够解决GAN中的模式崩溃问题？
• RQ3 如何将对抗学习整合到自编码器中以改善表征学习与降维？
• RQ4 对抗学习在生成与对抗攻击之间在理论与实践上的主要差异是什么？
• RQ5 SAGAN、CycleGAN与SinGAN等变体如何扩展GAN在图像到图像翻译与少样本生成中的能力？

主要发现

• Wasserstein GAN与D2GAN通过使用地球移动距离与动态判别器更新，显著提升了训练稳定性和模式覆盖度。
• 对抗自编码器（AAE）通过对抗损失训练生成器生成匹配先验分布的潜在码，实现了有效的降维。
• PixelGAN通过使用基于潜在码自适应偏置的PixelCNN解码器，实现了高保真图像生成，同时利用对抗训练正则化潜在空间。
• 隐式自编码器（IAE）通过使用两个独立的GAN同时强制实现潜在先验匹配与重建数据分布匹配，改进了表征学习。
• CycleGAN与StackGAN等模型通过学习解耦表征与循环一致性映射，实现了高质量的图像到图像翻译与文本到图像生成。
• 渐进式GAN与SAGAN通过逐步增加模型容量并引入自注意力机制，在生成高分辨率图像方面达到了最先进性能。