[论文解读] Leaving Reality to Imagination: Robust Classification via Generated Datasets

Hritik Bansal, Aditya Grover|arXiv (Cornell University)|Feb 5, 2023

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

在真实数据上训练 ImageNet 分类器，并用 Stable Diffusion 生成的数据进行增强，可以提升准确性和对自然分布漂移的有效鲁棒性，优于仅使用标准数据增强的方法。

ABSTRACT

Recent research on robustness has revealed significant performance gaps between neural image classifiers trained on datasets that are similar to the test set, and those that are from a naturally shifted distribution, such as sketches, paintings, and animations of the object categories observed during training. Prior work focuses on reducing this gap by designing engineered augmentations of training data or through unsupervised pretraining of a single large model on massive in-the-wild training datasets scraped from the Internet. However, the notion of a dataset is also undergoing a paradigm shift in recent years. With drastic improvements in the quality, ease-of-use, and access to modern generative models, generated data is pervading the web. In this light, we study the question: How do these generated datasets influence the natural robustness of image classifiers? We find that Imagenet classifiers trained on real data augmented with generated data achieve higher accuracy and effective robustness than standard training and popular augmentation strategies in the presence of natural distribution shifts. We analyze various factors influencing these results, including the choice of conditioning strategies and the amount of generated data. Additionally, we find that the standard ImageNet classifiers suffer a performance degradation of upto 20\% on the generated data, indicating their fragility at accurately classifying the objects under novel variations. Lastly, we demonstrate that the image classifiers, which have been trained on real data augmented with generated data from the base generative model, exhibit greater resilience to natural distribution shifts compared to the classifiers trained on real data augmented with generated data from the finetuned generative model on the real data. The code, models, and datasets are available at https://github.com/Hritikbansal/generative-robustness.

研究动机与目标

• 动机：在自然分布偏移的数据集上测试时揭示鲁棒性差距（如素描、再现等）。
• 研究现代在野生成模型生成数据如何影响分类器鲁棒性。
• 评估在 ImageNet 和自然分布偏移数据集上，使用真实数据、生成数据以及混合数据的训练效果。
• 分析条件策略、数据集规模效应和生成模板对鲁棒性与准确性的影响。
• 提供公开可用的代码、模型和数据集，以实现可重复的基准测试。

提出的方法

• 使用 Stable Diffusion，基于 ImageNet 类标签并通过多样化文本模板，在条件化下生成一个大型合成数据集（1.3M 张图片）。
• 用合成数据集扩充真实的 ImageNet-1K 训练数据，并从头训练分类器。
• 在自然分布偏移数据集（ImageNet-Sketch、ImageNet-R、ImageNet-V2、ObjectNet）上进行评估，并与仅使用真实数据和仅使用生成数据的训练进行比较。
• 将零样本生成与手工构造的增强和潜在扩散模型进行比较，以评估多样性和有效性。
• 分析数据生成策略（模板、真实图片、混合）及其对准确性和有效鲁棒性（ER）的影响。
• 通过发布基础/生成数据集和代码，提供鲁棒性基准测试的基线。

实验结果

研究问题

• RQ1 将真实数据与生成数据混合是否能在自然分布偏移数据集上提升准确性和有效鲁棒性？
• RQ2 生成策略（文本模板、真实图像条件或两者结合）如何影响鲁棒性和准确性？
• RQ3 生成数据量相对于真实数据在 ER 和准确性上有何影响？
• RQ4 对生成模型在真实数据上进行微调如何影响对偏移分布的鲁棒性？
• RQ5 生成数据集是否适合用于对现有 ImageNet 分类器在合成偏移上的基准测试？

主要发现

模型	Im-Sketch	Im-R	Im-V2	ObjectNet	平均值
Generated Data	37.8	45.3	9.1	49.9	35.6
Real + Generated Data	14.9	16.7	0.5	2.3	8.6

• 在真实数据上加入生成数据进行增强的训练，在自然分布偏移数据集上的绝对准确率与鲁棒性表现均与仅真实数据或仅生成数据的训练相当或更好。
• 单独的生成数据可以提高有效鲁棒性，但往往会降低绝对准确性；而真实+生成的混合提供了更有利的平衡。
• 基于类别标签、使用多样化模板的生成效果优于单一模板提示，且接近训练鲁棒性的最佳策略。
• 标准的 ImageNet 分类器在生成数据上的性能下降可达约 20%，表明对新型变体较脆弱；而混合训练可缓解这一差距。
• 零-shot CLIP 条件化在不对生成器进行域自适应的情况下实现了强鲁棒性，且与真实数据混合可以在真实/生成数据上获得高准确性。
• 在真实数据上微调生成器可以减少分布差，但并不总是比使用基础生成数据进行扩增获得更高准确性。
• 增加生成数据量通常会提高 ER，这表明在计算预算下，较大的合成数据集可以增强鲁棒性。