[论文解读] This dataset does not exist: training models from generated images

Victor Besnier, Himalaya Jain+3 more|arXiv (Cornell University)|Nov 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 5

一句话总结

本文提出三种技术，仅使用 BigGAN 生成的合成图像训练高精度图像分类器：通过潜在空间优化获得更具信息量的数据，训练过程中持续采样以提升多样性，以及通过批量归一化适应（BNA）实现推理时的适应。结合这三种方法，相较于仅随机采样生成图像的朴素训练方式，该方法在 ImageNet-10 上将 Top-1 准确率提升了 15%，达到 88.8% 的准确率，且通过延长训练时间实现。

ABSTRACT

Current generative networks are increasingly proficient in generating high-resolution realistic images. These generative networks, especially the conditional ones, can potentially become a great tool for providing new image datasets. This naturally brings the question: Can we train a classifier only on the generated data? This potential availability of nearly unlimited amounts of training data challenges standard practices for training machine learning models, which have been crafted across the years for limited and fixed size datasets. In this work we investigate this question and its related challenges. We identify ways to improve significantly the performance over naive training on randomly generated images with regular heuristics. We propose three standalone techniques that can be applied at different stages of the pipeline, i.e., data generation, training on generated data, and deploying on real data. We evaluate our proposed approaches on a subset of the ImageNet dataset and show encouraging results compared to classifiers trained on real images.

研究动机与目标

• 探究是否可以仅使用 SOTA GAN（如 BigGAN）生成的合成图像有效训练深度图像分类器。
• 解决在随机采样生成图像上训练分类器时性能显著下降的问题，相较于真实 ImageNet 数据。
• 开发实用且独立的技术，提升仅在生成数据上训练时的分类器性能。
• 评估这些方法在隔离状态及组合状态下在 ImageNet 子集（ImageNet-10）上的有效性。

提出的方法

• 提出潜在空间优化（HSM），以寻找能生成对分类训练更有用图像的更具信息量的潜在码。
• 引入动态采样（DS），在每个训练周期内持续用新采样的图像替换一部分生成的训练数据，以提升有效多样性。
• 采用批量归一化适应（BNA）作为推理时的适应方法，以对齐训练好的分类器与真实数据分布的统计特性。
• 使用预训练的 BigGAN 作为生成器，生成 128×128 图像，所有实验均采用 ResNet-18 作为分类器。
• 应用标准训练协议，包括 SGD、权重衰减和学习率衰减，同时在 DS 中调整数据替换比例。
• 通过在真实 ImageNet 验证集上的 Top-1 准确率评估性能，并与基于真实数据训练的基线模型进行比较。

实验结果

研究问题

• RQ1 当仅使用 SOTA GAN（如 BigGAN）生成的合成图像训练时，深度图像分类器能否实现具有竞争力的性能？
• RQ2 为何在随机采样生成图像上训练时，性能会显著低于使用真实 ImageNet 数据？
• RQ3 潜在码优化在多大程度上能提升用于分类的生成训练数据的质量与信息量？
• RQ4 训练过程中持续采样如何影响模型在真实数据上的泛化能力与准确率？
• RQ5 通过批量归一化适应（BNA）实现的推理时适应，能否有效弥合生成数据与真实数据之间的域差距？

主要发现

• 所提出的潜在空间优化方法（HSM）相较于随机采样基线，将分类器准确率提升了 1.4% 至 3.2%。
• 采用替换比例为 0.5 的动态采样（DS），相较于固定生成数据集，准确率提升 7.4% 至 8.2%。
• 在训练后应用批量归一化适应（BNA），准确率提升 3.8% 至 5.8%，甚至在某些情况下优于完全替换（r=1）的情况。
• 三种方法具有互补性：三者结合使准确率相较基线提升 15%，在 ImageNet-10 上达到 88.8% 的 Top-1 准确率。
• DS 的性能增益在替换比例超过 0.5 后迅速下降，表明在中等替换率后收益递减。
• BNA 在所有设置中均一致提升准确率，尤其在与 DS 结合时效果显著，表明其作为轻量级推理后适应方法具有重要价值。