[论文解读] Comparison and Analysis of Image-to-Image Generative Adversarial Networks: A Survey

Sagar Saxena, Mohammad Nayeem Teli|arXiv (Cornell University)|Dec 23, 2021

Generative Adversarial Networks and Image Synthesis被引用 16

一句话总结

本综述对八种最先进的图像到图像 GAN 模型——Pix2Pix、CycleGAN、CoGAN、StarGAN、MUNIT、StarGAN2、DA-GAN 和 Self-Attention GAN——进行了全面比较，分析了其架构、损失函数、数据集和评估指标。主要贡献在于在四个数据集和两个指标上对六种模型进行了受控的实证评估，结果表明在所有任务中并无单一模型始终优于其他模型，凸显了图像质量、多样性与泛化能力之间的权衡，尤其在小数据集上更为明显。

ABSTRACT

Generative Adversarial Networks (GANs) have recently introduced effective methods of performing Image-to-Image translations. These models can be applied and generalized to a variety of domains in Image-to-Image translation without changing any parameters. In this paper, we survey and analyze eight Image-to-Image Generative Adversarial Networks: Pix2Pix, CycleGAN, CoGAN, StarGAN, MUNIT, StarGAN2, DA-GAN, and Self Attention GAN. Each of these models presented state-of-the-art results and introduced new techniques to build Image-to-Image GANs. In addition to a survey of the models, we also survey the 18 datasets they were trained on and the 9 metrics they were evaluated on. Finally, we present results of a controlled experiment for 6 of these models on a common set of metrics and datasets. The results were mixed and showed that, on certain datasets, tasks, and metrics, some models outperformed others. The last section of this paper discusses those results and establishes areas of future research. As researchers continue to innovate new Image-to-Image GANs, it is important to gain a good understanding of the existing methods, datasets, and metrics. This paper provides a comprehensive overview and discussion to help build this foundation.

研究动机与目标

• 提供对八种主流图像到图像 GAN 模型的详细对比分析，重点聚焦于架构设计与损失函数选择。
• 综述这些模型中使用的 18 个数据集和 9 个评估指标，以支持可复现性与模型选择。
• 通过在相同数据集和指标上对比六种模型，开展受控实验，以识别性能权衡。
• 通过识别在小数据集上的泛化缺陷以及选择合适评估指标与监督水平方面的不足，为未来研究提供指导。

提出的方法

• 本文对八种图像到图像 GAN 模型进行了深入调研，分析其架构、训练目标以及独特创新，如注意力机制和解耦表征。
• 整理并总结了先前工作中使用的 18 个公开数据集和 9 个评估指标，为数据集与指标选择提供参考。
• 受控实验在四个基准数据集上使用 FID 和 LPIPS 指标，对六种模型——Pix2Pix、CycleGAN、MUNIT、StarGAN2、SA-Img2Img 和 DA-GAN——进行了评估。
• 实验采用固定的超参数和训练协议，以确保模型间比较的公平性。
• 通过视觉与定量结果分析，评估不同任务与数据分布下图像质量、多样性与一致性。
• 研究还包括对 CoGAN 和 DA-GAN 的类似消融分析，指出其存在训练不稳定及与原始结果相比性能差距较大的问题。

实验结果

研究问题

• RQ1 在多样化的数据集和任务中，哪种图像到图像 GAN 模型表现最佳？在何种条件下其性能优于其他模型？
• RQ2 不同的损失函数和架构组件（如注意力机制、解耦）如何影响翻译任务中的图像质量与多样性？
• RQ3 模型在小样本或低资源数据集上的泛化能力如何？这在多大程度上影响其性能？
• RQ4 哪些评估指标（如 FID、LPIPS 等）最能反映图像到图像翻译中的感知质量与多样性？
• RQ5 当前模型的关键局限是什么？它们在成对与非成对数据设置下的性能表现有何差异？

主要发现

• Pix2Pix 在大规模成对数据上表现强劲，但在小数据集上泛化能力较差。
• CycleGAN 在各类任务中表现稳定，但在图像质量指标上始终落后于 StarGAN2 或 SA-Img2Img。
• MUNIT 能够为同一输入生成多样化输出，但通常以降低图像质量与一致性为代价，低于 CycleGAN。
• SA-Img2Img 与 StarGAN2 在性能上交替领先，当它们表现良好时可生成最高质量的输出，但某些任务上失败率也更高。
• CoGAN 在使用官方 PyTorch 实现时，未能在任一测试数据集上成功训练，FID 分数超过 300，且精确率与召回率均为零，表明出现模型崩溃。
• 结果表明，不存在 universally 最优的模型，性能高度依赖于数据集大小、数据配对方式以及评估指标的选择。