Skip to main content
QUICK REVIEW

[论文解读] Is synthetic data from generative models ready for image recognition?

Ruifei He, Shuyang Sun|arXiv (Cornell University)|Oct 14, 2022
Generative Adversarial Networks and Image SynthesisComputer Science被引用 56
一句话总结

本论文评估来自文本到图像模型(GLIDE)的合成图像在零-shot、少-shot和预训练设置中的图像识别性能,提出语言增强、基于 CLIP 的筛选以及软目标学习以提升性能。

ABSTRACT

Recent text-to-image generation models have shown promising results in generating high-fidelity photo-realistic images. Though the results are astonishing to human eyes, how applicable these generated images are for recognition tasks remains under-explored. In this work, we extensively study whether and how synthetic images generated from state-of-the-art text-to-image generation models can be used for image recognition tasks, and focus on two perspectives: synthetic data for improving classification models in data-scarce settings (i.e. zero-shot and few-shot), and synthetic data for large-scale model pre-training for transfer learning. We showcase the powerfulness and shortcomings of synthetic data from existing generative models, and propose strategies for better applying synthetic data for recognition tasks. Code: https://github.com/CVMI-Lab/SyntheticData.

研究动机与目标

  • 评估来自最先进文本到图像模型的合成数据是否能改善零-shot和少-shot图像识别。
  • 研究合成数据在大规模模型预训练与迁移学习中的用处。
  • 提出策略以提高多样性、降低噪声并引导识别任务的生成。

提出的方法

  • 使用 GLIDE 作为文本到图像生成器为下游任务合成带标签的数据。
  • 通过基于 T5 的模型进行语言增强(LE),使提示更加多样化。
  • 应用基于 CLIP 的筛选(CF)以去除质量较低的合成样本。
  • 尝试软目标交叉熵(SCE)以缓解标签噪声。
  • 仅微调分类器权重(CT),以保留预训练编码器的空间。
  • 使用 CLIP 主干网络比较零-shot、少-shot和预训练范式。

实验结果

研究问题

  • RQ1来自文本到图像模型的合成数据是否能在多样化数据集上提升零-shot图像识别?
  • RQ2合成数据能提升少-shot学习并达到新的最先进水平吗?这在多大程度上取决于真实数据的可用性?
  • RQ3合成数据是否适合大规模预训练和迁移学习,标签空间和主干网络的选择如何影响结果?
  • RQ4多样性(LE)和可靠性(CF、SCE)策略如何影响合成数据的性能?

主要发现

  • 在零-shot 设置中,合成数据的平均Top-1提升为 4.31%(CLIP-RN50),在 EuroSAT 上最高可达 17.86%。
  • 语言增强的提示(LE)增加多样性,通常提升零-shot 准确率,尤其是与 CLIP 筛选(CF)及软目标交叉熵(SCE)搭配时。
  • 在少-shot 设置中,合成数据带来显著提升,并且可以达到新的最先进结果;当真实数据增加时,收益减弱,真实数据引导生成(RG)可进一步改善结果。
  • 在预训练中,合成数据可与甚至超过 ImageNet-1K 预训练,尤其是使用 ViT 主干,并且当下游标签空间增大(IN-2K)时受益。
  • 阶段性训练与混合训练对少-shot任务表现更好,且在低数据情形中冻结批归一化层有帮助。
  • 合成预训练在从真实预训练权重初始化时最有效;当真实数据稀缺时,合成数据可以弥补空缺。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。