[论文解读] Is synthetic data from generative models ready for image recognition?
本论文评估来自文本到图像模型(GLIDE)的合成图像在零-shot、少-shot和预训练设置中的图像识别性能,提出语言增强、基于 CLIP 的筛选以及软目标学习以提升性能。
Recent text-to-image generation models have shown promising results in generating high-fidelity photo-realistic images. Though the results are astonishing to human eyes, how applicable these generated images are for recognition tasks remains under-explored. In this work, we extensively study whether and how synthetic images generated from state-of-the-art text-to-image generation models can be used for image recognition tasks, and focus on two perspectives: synthetic data for improving classification models in data-scarce settings (i.e. zero-shot and few-shot), and synthetic data for large-scale model pre-training for transfer learning. We showcase the powerfulness and shortcomings of synthetic data from existing generative models, and propose strategies for better applying synthetic data for recognition tasks. Code: https://github.com/CVMI-Lab/SyntheticData.
研究动机与目标
- 评估来自最先进文本到图像模型的合成数据是否能改善零-shot和少-shot图像识别。
- 研究合成数据在大规模模型预训练与迁移学习中的用处。
- 提出策略以提高多样性、降低噪声并引导识别任务的生成。
提出的方法
- 使用 GLIDE 作为文本到图像生成器为下游任务合成带标签的数据。
- 通过基于 T5 的模型进行语言增强(LE),使提示更加多样化。
- 应用基于 CLIP 的筛选(CF)以去除质量较低的合成样本。
- 尝试软目标交叉熵(SCE)以缓解标签噪声。
- 仅微调分类器权重(CT),以保留预训练编码器的空间。
- 使用 CLIP 主干网络比较零-shot、少-shot和预训练范式。
实验结果
研究问题
- RQ1来自文本到图像模型的合成数据是否能在多样化数据集上提升零-shot图像识别?
- RQ2合成数据能提升少-shot学习并达到新的最先进水平吗?这在多大程度上取决于真实数据的可用性?
- RQ3合成数据是否适合大规模预训练和迁移学习,标签空间和主干网络的选择如何影响结果?
- RQ4多样性(LE)和可靠性(CF、SCE)策略如何影响合成数据的性能?
主要发现
- 在零-shot 设置中,合成数据的平均Top-1提升为 4.31%(CLIP-RN50),在 EuroSAT 上最高可达 17.86%。
- 语言增强的提示(LE)增加多样性,通常提升零-shot 准确率,尤其是与 CLIP 筛选(CF)及软目标交叉熵(SCE)搭配时。
- 在少-shot 设置中,合成数据带来显著提升,并且可以达到新的最先进结果;当真实数据增加时,收益减弱,真实数据引导生成(RG)可进一步改善结果。
- 在预训练中,合成数据可与甚至超过 ImageNet-1K 预训练,尤其是使用 ViT 主干,并且当下游标签空间增大(IN-2K)时受益。
- 阶段性训练与混合训练对少-shot任务表现更好,且在低数据情形中冻结批归一化层有帮助。
- 合成预训练在从真实预训练权重初始化时最有效;当真实数据稀缺时,合成数据可以弥补空缺。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。