[论文解读] Dataset Diffusion: Diffusion-based Synthetic Dataset Generation for Pixel-Level Semantic Segmentation

Quang H. Nguyen, Truong V. Vu+2 more|arXiv (Cornell University)|Sep 25, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种名为 Dataset Diffusion 的新框架，该框架利用 Stable Diffusion 的文本到图像生成能力与注意力机制，合成高质量、像素级的语义分割数据集。通过引入类别提示追加、类别提示交叉注意力以及自注意力指数化，该方法能够从文本提示生成精确的分割掩码，在 PASCAL VOC 上达到 64.8 mIoU，在 COCO 上达到 34.2 mIoU，优于先前的工作如 DiffuMask。

ABSTRACT

Preparing training data for deep vision models is a labor-intensive task. To address this, generative models have emerged as an effective solution for generating synthetic data. While current generative models produce image-level category labels, we propose a novel method for generating pixel-level semantic segmentation labels using the text-to-image generative model Stable Diffusion (SD). By utilizing the text prompts, cross-attention, and self-attention of SD, we introduce three new techniques: class-prompt appending, class-prompt cross-attention, and self-attention exponentiation. These techniques enable us to generate segmentation maps corresponding to synthetic images. These maps serve as pseudo-labels for training semantic segmenters, eliminating the need for labor-intensive pixel-wise annotation. To account for the imperfections in our pseudo-labels, we incorporate uncertainty regions into the segmentation, allowing us to disregard loss from those regions. We conduct evaluations on two datasets, PASCAL VOC and MSCOCO, and our approach significantly outperforms concurrent work. Our benchmarks and code will be released at https://github.com/VinAIResearch/Dataset-Diffusion

研究动机与目标

• 解决语义分割数据集中人工像素级标注的高成本与高劳动强度问题。
• 利用文本到图像扩散模型生成包含多个物体的逼真、多样化场景。
• 在不依赖人工标注掩码的前提下，生成准确的伪标签分割图。
• 通过基于注意力的优化与不确定性感知训练，提升分割质量。
• 建立标准化基准（synth-VOC 与 synth-COCO），用于评估语义分割中合成数据集生成的性能。

提出的方法

• 引入类别提示追加，以引导扩散模型生成包含多个指定物体类别的图像。
• 采用类别提示交叉注意力，增强场景中单个物体上的注意力定位能力。
• 应用自注意力指数化，以优化注意力图并提升分割掩码质量。
• 在多个特征尺度上聚合交叉注意力与自注意力图，以平衡全局结构与局部细节。
• 使用可学习的阈值化机制，结合超参数 τ、α 和 β，从注意力图生成二值分割掩码。
• 应用不确定性感知损失与测试时增强的自训练策略，以提升在合成数据上的泛化能力。

Figure 1: Overview of our Dataset Diffusion for synthetic dataset generation. ( Left ) Given the target classes, our framework generates high-fidelity images with their corresponding pixel-level semantic segmentations. These segmentations serve as pseudo-labels for training a semantic segmenter. ( R

实验结果

研究问题

• RQ1 像 Stable Diffusion 这类文本到图像扩散模型能否被有效适配，用于生成复杂多物体场景的像素级语义分割标签？
• RQ2 注意力机制（如交叉注意力与自注意力）如何提升生成分割掩码的质量？
• RQ3 架构组件（如特征尺度聚合与掩码优化技术）对分割性能有何影响？
• RQ4 在 Dataset Diffusion 生成的合成数据集上训练的模型，能在多大程度上泛化到真实世界基准？
• RQ5 不确定性感知训练在使用扩散模型生成的不完美伪标签时，如何提升模型鲁棒性？

主要发现

• Dataset Diffusion 在 PASCAL VOC 基准上实现了 64.8 的平均交并比（mIoU），显著优于仅使用交叉注意力的 DiffuMask（仅 44.8 mIoU）。
• 在 COCO 基准上，使用合成数据集训练的 DeepLabV3 模型达到 34.2 mIoU，接近在完全监督真实数据上训练的模型性能。
• 仅使用自注意力优化，mIoU 从 44.8 提升至 61.0，表明其在提升分割精度方面具有关键作用。
• 不确定性感知损失、自训练与测试时增强的组合进一步将 mIoU 提升至 64.3，表明各组件均带来增量性能提升。
• 掩码生成的最优超参数为 τ=4、α=0.5 和 β=0.6，当 τ 超过 4 时性能显著下降，原因是注意力图过度平滑。
• 在注意力图聚合中使用 16 和 32 尺度可获得最佳结果，而仅使用 8 或 64 尺度会导致性能下降，分别因细节丢失或对细纹理过度强调。

Figure 2: Three stages of Dataset Diffusion . In the first stage, the target classes are provided, and text prompts are generated using language models such as ChatGPT [ 48 ] . Real captions (for COCO) or image-based captions (for VOC) can also be used for prompt generation to ensure standard evalua