[论文解读] Synthetic Data from Diffusion Models Improves ImageNet Classification
微调一个大规模文本到图像扩散模型(Imagen)在ImageNet上可获得对于ImageNet生成的最新FID和IS,并在跨ResNet和ViT架构的合成数据对真实数据的增强下,显著提升ImageNet分类。
Deep generative models are becoming increasingly powerful, now generating diverse high fidelity photo-realistic samples given text prompts. Have they reached the point where models of natural images can be used for generative data augmentation, helping to improve challenging discriminative tasks? We show that large-scale text-to image diffusion models can be fine-tuned to produce class conditional models with SOTA FID (1.76 at 256x256 resolution) and Inception Score (239 at 256x256). The model also yields a new SOTA in Classification Accuracy Scores (64.96 for 256x256 generative samples, improving to 69.24 for 1024x1024 samples). Augmenting the ImageNet training set with samples from the resulting models yields significant improvements in ImageNet classification accuracy over strong ResNet and Vision Transformer baselines.
研究动机与目标
- 研究是否可以对大规模文本到图像扩散模型进行微调,以生成类别条件的ImageNet数据。
- 评估合成数据作为下游ImageNet分类在不同架构上的提升。
- 确定最大化生成和判别性能的采样与微调策略。
提出的方法
- 在ImageNet训练集上微调一个大型 Imagen 文本到图像扩散模型,创建类别条件生成器。
- 调整采样参数(guidance weights 指导权重、log-variance、噪声增强、去噪步骤)以优化 FID、IS 和 CAS。
- 通过在合成数据上训练分类器并在真实ImageNet验证数据上测试,使用 FID/IS 和 CAS 评估生成数据。
- 比较在分辨率(64x64、256x256、1024x1024)和模型架构(ResNets与ViTs)上的性能。
- 构建大型合成数据集(1.2M 到 12M 张图像),按 ImageNet 类别平衡,用于增强实验。
- 评估生成数据的扩展性及其对不同训练集规模下的下游准确率的影响。
实验结果
研究问题
- RQ1预训练的扩散模型是否可以微调以在多种分辨率下生成高质量的、类别条件的ImageNet样本?
- RQ2由此类微调模型生成的图像在用于数据增强时,是否能改善下游的ImageNet分类?
- RQ3采样参数和分辨率如何影响样本质量(FID/IS)与下游 CAS 性能之间的权衡?
主要发现
- 微调后的 Imagen 在 256x256 下达到最先进的 FID(1.76) 和 IS(239),并在 256x256 下达到新的 CAS 64.96,提升至 1024x1024 为 69.24。
- 来自微调扩散模型的合成数据在加入真实数据时显著提升 ImageNet 的准确性,适用于 ResNet 与 ViT 基础的分类器。
- CAS 改善在 1024x1024 尤为显著,缩小了与用真实数据训练的模型之间的差距。
- 更大规模的合成数据集在 64x64 下可继续提升性能,但在高分辨率(超过约1M张图像)时收益递减或偏向;最佳收益取决于分辨率与采样策略。
- 真实数据与合成数据结合效果优于任一单独使用,在多样化架构上取得显著提升。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。