[论文解读] Fake it till you make it: Learning transferable representations from synthetic ImageNet clones

Mert Bülent Sarıyıldız, Karteek Alahari+2 more|arXiv (Cornell University)|Dec 16, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出仅使用类别名称作为提示词，通过 Stable Diffusion 生成的合成图像完全训练 ImageNet 分类模型。尽管提示工程极少，但基于这些合成 ImageNet 副本训练的模型在 ImageNet-1K 上实现了 70.3% 的 top-5 准确率，在迁移学习基准测试中表现与真实数据训练的模型相当，展现出强大的泛化能力，并将与真实图像模型之间的性能差距缩小至极小范围。

ABSTRACT

Recent image generation models such as Stable Diffusion have exhibited an impressive ability to generate fairly realistic images starting from a simple text prompt. Could such models render real images obsolete for training image prediction models? In this paper, we answer part of this provocative question by investigating the need for real images when training models for ImageNet classification. Provided only with the class names that have been used to build the dataset, we explore the ability of Stable Diffusion to generate synthetic clones of ImageNet and measure how useful these are for training classification models from scratch. We show that with minimal and class-agnostic prompt engineering, ImageNet clones are able to close a large part of the gap between models produced by synthetic images and models trained with real images, for the several standard classification benchmarks that we consider in this study. More importantly, we show that models trained on synthetic images exhibit strong generalization properties and perform on par with models trained on real data for transfer. Project page: https://europe.naverlabs.com/imagenet-sd/

研究动机与目标

• 探究仅从文本提示生成的合成图像是否可替代真实图像用于训练鲁棒的图像分类模型。
• 评估仅在合成 ImageNet 副本上训练的模型在多样化基准上的泛化性能。
• 识别并缓解影响模型性能的生成图像中的语义和领域特定问题。
• 证明最小化、与类别无关的提示工程可显著提升合成 ImageNet 副本的质量与多样性。

提出的方法

• 使用 Stable Diffusion，以类别名称作为提示词，为 ImageNet-1K 的所有类别生成合成图像。
• 应用与类别无关的提示修改策略——添加 'highly detailed' 和 'inside a box'——以提升语义一致性和视觉多样性。
• 从零开始在合成数据集（ImageNet-1K-SD）上训练 ResNet-50 模型，且不进行任何真实图像微调。
• 在 ImageNet-1K 验证集、ImageNet-A、ImageNet-R、ImageNet-Sketch、ImageNet-v2 以及 15 个下游迁移学习数据集上评估模型性能。
• 分析关键扩散超参数（引导尺度和扩散步数）对图像质量和模型性能的影响。
• 采用固定分辨率（512×512），与 Stable Diffusion 的训练分布保持一致，以维持生成保真度。

实验结果

研究问题

• RQ1 仅在文本提示生成的合成图像上训练的模型能否实现与在真实 ImageNet 数据上训练的模型相当的性能？
• RQ2 与真实数据模型相比，合成 ImageNet 副本在分布偏移和对抗性样本下的表现如何？
• RQ3 哪些提示工程策略能提升生成图像在分类任务中的语义准确性和视觉多样性？
• RQ4 合成图像在多大程度上支持强大的零样本和少样本迁移学习能力？

主要发现

• 在合成 ImageNet 副本（ImageNet-1K-SD）上训练的模型在 ImageNet-1K 上实现了 70.3% 的 top-5 准确率，显著缩小了与真实数据模型之间的差距。
• 在 ImageNet-A、ImageNet-R 和 ImageNet-Sketch 等鲁棒性基准上，合成模型与真实数据模型之间的性能差距显著减小。
• 在 15 个多样化的下游迁移学习数据集上，合成数据训练的模型表现与真实数据模型相当，表明其具备强大的泛化能力。
• 添加与类别无关的提示修饰词 'highly detailed' 和 'inside a box' 显著提升了生成图像的视觉质量和语义一致性。
• 最优生成质量在 50 次扩散步数和引导尺度 7.5 时达到；进一步增加步数带来的收益逐渐减少。
• 偏离 512×512 训练分辨率会降低图像质量，证实分辨率对齐在可靠生成中的重要性。