[论文解读] Mimicry: Towards the Reproducibility of GAN Research

Kwot Sin Lee, Christopher Town|arXiv (Cornell University)|May 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 18

一句话总结

本文介绍了 Mimicry，一个轻量级的 PyTorch 库，通过提供最先进 GAN 及评估指标的标准化实现，实现了 GAN 研究的可复现性。该库在七个数据集上使用完全相同的训练和评估流程，提供了稳定且透明的基线分数，确保了公平比较，并减少了以往研究中不一致实现带来的依赖。

ABSTRACT

Advancing the state of Generative Adversarial Networks (GANs) research requires one to make careful and accurate comparisons with existing works. Yet, this is often difficult to achieve in practice when models are often implemented differently using varying frameworks, and evaluated using different procedures even when the same metric is used. To mitigate these issues, we introduce Mimicry, a lightweight PyTorch library that provides implementations of popular state-of-the-art GANs and evaluation metrics to closely reproduce reported scores in the literature. We provide comprehensive baseline performances of different GANs on seven widely-used datasets by training these GANs under the same conditions, and evaluating them across three popular GAN metrics using the same procedures. The library can be found at https://github.com/kwotsin/mimicry.

研究动机与目标

• 为解决不同代码库之间 GAN 研究中因实现不一致、训练流程和评估方法差异导致的可复现性问题。
• 提供一个统一的轻量级 PyTorch 库，标准化主流 GAN 架构的训练与评估流程。
• 使用相同的超参数和评估协议，在多个数据集和指标上，为最先进 GAN 提供透明且一致的基线性能分数。
• 通过提供预训练模型和可重用的代码库，减轻研究人员的负担，减少样板代码的实现。
• 通过使用 KID 等无偏指标，结合 FID 和 IS，促进 GAN 模型之间更公平的比较。

提出的方法

• 该库采用模块化、面向对象的设计，使用共享的基类实现六种流行的 GAN 模型——DCGAN、WGAN-GP、SNGAN、cGAN-PD、SSGAN 和 InfoMax-GAN，分别用于生成器和判别器。
• 所有模型在七个数据集上使用固定超参数、优化器设置和每轮生成器步骤的训练迭代次数，在完全相同的配置下进行训练。
• 评估使用三项指标：Inception Score (IS)、Fréchet Inception Distance (FID) 和 Kernel Inception Distance (KID)，每项指标均采用标准化的样本数量和分割方式计算。
• KID 被用作 FID 的更可靠替代指标，因其能无偏估计分布差异，从而提升模型比较的公平性。
• 训练流程由 Trainer 对象统一管理，负责模型组装、优化和检查点保存，支持不同大小和分辨率的数据集。
• 提供一个模型动物园（model zoo），包含预训练检查点，以确保可复现性并支持快速基准测试。

实验结果

研究问题

• RQ1 标准化库在多大程度上能减少不同研究团队之间 GAN 实现与评估的不一致性？
• RQ2 由于训练流程、框架和评估协议的差异，报告的 GAN 分数在多大程度上存在变化？
• RQ3 在不同数据集上，相同训练与评估条件下，不同 GAN 架构的表现如何比较？
• RQ4 无偏指标如 KID 是否能比 FID 提供更可靠、更公平的 GAN 基准比较？
• RQ5 一个具有统一超参数的单一、统一代码库，是否能实现透明且可复现的基线性能报告？

主要发现

• cGAN-PD 模型在所有数据集上均表现最佳，得益于其使用条件标签，始终优于无条件 GAN。
• SSGAN 和 InfoMax-GAN 均优于 SNGAN 基线，其中 InfoMax-GAN 在高分辨率 CelebA 数据集上表现显著提升，而 SSGAN 相较于 SNGAN 表现较差。
• 在 CIFAR-10 上，DCGAN 的 FID 为 28.95±0.42，与报告值 28.12 非常接近，验证了实现的可复现性。
• 在 32×32 分辨率的 ImageNet 上，最佳 FID 得分为 8.97±0.12，所有 GAN 模型在三个随机种子下均表现出稳定且一致的性能。
• 使用 KID 作为指标可产生无偏估计，并与 FID 呈强相关性，支持其在更公平的模型比较中被采纳。
• 在七个数据集上提供了基线结果，采用一致的训练与评估协议，实现了 GAN 性能的直接且透明的比较。