[论文解读] BigDatasetGAN: Synthesizing ImageNet with Pixel-wise Annotations

Daiqing Li, Huan Ling+5 more|arXiv (Cornell University)|Jan 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 BigDatasetGAN，一种仅使用 BigGAN 中每类 5 张人工标注的图像，即可合成大规模、像素级标注的 ImageNet 数据集的方法。通过在这些少量标注的 GAN 样本上训练分割头，模型生成了高质量的合成图像及准确的分割掩码，当用于下游分割和检测任务的预训练时，实现了最先进的性能表现。

ABSTRACT

Annotating images with pixel-wise labels is a time-consuming and costly process. Recently, DatasetGAN showcased a promising alternative - to synthesize a large labeled dataset via a generative adversarial network (GAN) by exploiting a small set of manually labeled, GAN-generated images. Here, we scale DatasetGAN to ImageNet scale of class diversity. We take image samples from the class-conditional generative model BigGAN trained on ImageNet, and manually annotate 5 images per class, for all 1k classes. By training an effective feature segmentation architecture on top of BigGAN, we turn BigGAN into a labeled dataset generator. We further show that VQGAN can similarly serve as a dataset generator, leveraging the already annotated data. We create a new ImageNet benchmark by labeling an additional set of 8k real images and evaluate segmentation performance in a variety of settings. Through an extensive ablation study we show big gains in leveraging a large generated dataset to train different supervised and self-supervised backbone models on pixel-wise tasks. Furthermore, we demonstrate that using our synthesized datasets for pre-training leads to improvements over standard ImageNet pre-training on several downstream datasets, such as PASCAL-VOC, MS-COCO, Cityscapes and chest X-ray, as well as tasks (detection, segmentation). Our benchmark will be made public and maintain a leaderboard for this challenging task. Project Page: https://nv-tlabs.github.io/big-datasetgan/

研究动机与目标

• 解决像 ImageNet 这类大规模数据集进行人工像素级标注所面临的高昂成本和巨大工作量问题。
• 将 DatasetGAN 框架从类别条件 GAN 扩展至包含 1,000 个类别的完整 ImageNet。
• 利用合成与真实标注图像共同构建语义分割的新基准。
• 评估合成数据集在密集预测任务中用于主干网络预训练的有效性。
• 证明来自 BigGAN 和 VQGAN 的合成数据在下游基准测试中可超越标准 ImageNet 预训练的效果。

提出的方法

• 从 BigGAN 中每类采样 5 张图像，由一位专家人工使用像素级掩码进行标注。
• 利用少量标注数据，在 GAN 的特征图上训练一个分割头（特征解释分支）。
• 使用训练好的模型生成大规模的合成数据集，包含图像及其对应的掩码。
• 将该方法扩展至 VQGAN，证明其无需额外标注亦可作为标注数据生成器。
• 利用合成数据集在下游任务中对分割和检测模型进行预训练。
• 建立公开基准并提供排行榜，用于评估在真实与合成数据上的分割性能。

Figure 2 : BigDatasetGAN overview: (1) We sample a few images per class from BigGAN and manually annotate them with masks. (2) We train a feature interpreter branch on top of BigGAN’s and VQGAN’s features on this data, turning these GANs into generators of labeled data. (3) We sample large synthetic

实验结果

研究问题

• RQ1 能否利用少量人工标注的 GAN 生成图像，训练出一个可泛化至 ImageNet 规模下高质量合成数据生成的分割头？
• RQ2 在下游分割和检测任务中，基于 BigGAN 合成的像素级标注数据进行预训练，与标准 ImageNet 预训练相比表现如何？
• RQ3 在无需额外标注的情况下，VQGAN 在像素级分割数据生成方面可达到何种程度的适用性？
• RQ4 从形状多样性与准确性角度，BigGAN 和 VQGAN 生成的合成掩码与真实标注掩码相比如何？
• RQ5 在密集预测任务中，合成数据对自监督与监督预训练分别产生何种影响？

主要发现

• 在 PASCAL-VOC、MS-COCO、Cityscapes 和胸部 X 光数据集上，使用 BigDatasetGAN 生成的合成数据进行预训练，性能显著优于标准 ImageNet 预训练。
• 来自 BigGAN 的合成数据集在语义分割基准上实现了最先进性能，当在下游任务中微调时，优于在真实 ImageNet 上预训练的模型。
• 与 BigGAN-sim 相比，VQGAN-sim 在物体尺度、姿态和背景方面生成了更多样化的图像，尽管掩码质量略低。
• 形状多样性度量显示，BigGAN-sim 能够捕捉到各类之间有意义的形状变化，尤其在动物类别中表现明显，k-means 聚类揭示了清晰的物体模式。
• 迁移学习实验表明，合成数据在多种主干网络架构和学习范式（包括自监督与监督预训练）中均能提升性能。
• 包含真实标注图像的基准验证了合成数据的实用性，公开排行榜支持持续评估与进展追踪。

Figure 3 : Architecture of BigDatasetGAN based on BigGAN [ 6 ] .