[论文解读] DALL-E for Detection: Language-driven Compositional Image Synthesis for Object Detection

Yunhao Ge, Jiashu Xu+4 more|arXiv (Cornell University)|Jun 20, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了一种基于语言驱动的、组合式图像生成框架，利用 DALL-E 生成用于目标检测的高质量、多样化且标注准确的训练数据。通过将文本提示和图像字幕用于前景掩码生成与上下文图像合成的解耦，该方法在基线剪切-粘贴方法上实现了 7.2% 的 mAP 提升，并通过可解释的语言干预实现了零样本和分布外泛化能力。

ABSTRACT

We propose a new paradigm to automatically generate training data with accurate labels at scale using the text-toimage synthesis frameworks (e.g., DALL-E, Stable Diffusion, etc.). The proposed approach decouples training data generation into foreground object mask generation and background (context) image generation. For foreground object mask generation, we use a simple textual template with object class name as input to DALL-E to generate a diverse set of foreground images. A foreground-background segmentation algorithm is then used to generate foreground object masks. Next, in order to generate context images, first a language description of the context is generated by applying an image captioning method on a small set of images representing the context. These language descriptions are then used to generate diverse sets of context images using the DALL-E framework. These are then composited with object masks generated in the first step to provide an augmented training set for a classifier. We demonstrate the advantages of our approach on four object detection datasets including on Pascal VOC and COCO object detection tasks. Furthermore, we also highlight the compositional nature of our data generation approach on out-of-distribution and zero-shot data generation scenarios.

研究动机与目标

• 解决人工标注数据集在目标检测任务中成本高且难以扩展的问题。
• 实现自动、可扩展且保护隐私的多样化、高质量训练图像生成，同时具备准确的边界框标注。
• 利用 DALL-E 等文本到图像模型的组合性与可解释性，实现在分布外和零样本场景下的鲁棒数据合成。
• 通过语言作为组合式接口减少对人工标注和 3D 建模的依赖，实现数据生成。

提出的方法

• 使用简单的文本提示（例如：'一张纯背景上的猫的图像'）通过 DALL-E 生成多样化前景目标图像。
• 应用背景-前景分割算法，从 DALL-E 生成的图像中提取精确的目标掩码。
• 通过对少量真实或合成的上下文图像应用图像字幕模型，生成上下文描述。
• 将生成的语言描述用作 DALL-E 的提示，以合成多样化且上下文一致的背景图像。
• 采用剪切-粘贴策略将前景掩码合成到生成的背景图像上，形成增强的训练数据。
• 通过修改字幕（例如，移除如'人'等干扰项）实现基于语言的干预，以提升上下文相关性与模型泛化能力。

实验结果

研究问题

• RQ1 能否利用 DALL-E 等文本到图像模型，在极少人工参与的情况下生成可扩展、高质量且标注准确的目标检测训练数据？
• RQ2 与使用真实世界上下文图像相比，基于语言驱动的上下文图像生成在检测性能上表现如何？
• RQ3 语言的组合性在多大程度上能提升合成数据生成在零样本和分布外场景下的泛化能力？
• RQ4 基于语言的字幕编辑能否提升生成的上下文图像在下游检测任务中的质量与相关性？

主要发现

• 当以 UW-kitchen 的真实上下文图像作为参考时，所提方法在 mAP 上相比 Object Cut-and-Paste 基线提升了 7.2%。
• 使用基于语言驱动的 DALL-E 生成的上下文图像，其性能优于使用公开数据集中真实世界上下文图像，证明了合成上下文的优越性。
• 在分布外场景（如使用卡通或素描图像作为上下文描述）中，基于语言的字幕编辑可使检测准确率最高提升 10.2 个百分点。
• 该方法实现了有效的零样本和组合式数据生成，在包括真实厨房、卡通厨房以及含有人物的场景在内的多样化测试环境中均观察到性能提升。
• 该方法在无需 3D 建模或人工标注的情况下，保持了高质量的图像生成与准确的标注，实现了可扩展且保护隐私的数据合成。