[论文解读] ImaginaryNet: Learning Object Detectors without Real Images and Annotations

Minheng Ni, Zitong Huang+2 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出ImaginaryNet，一种仅使用合成图像和文本描述进行目标检测模型训练的框架，无需真实图像或人工标注。通过结合预训练的语言模型与文本到图像生成模型，该方法生成多样化、逼真的图像并附带类别标签，从而实现弱监督目标检测；该方法的性能达到使用真实数据进行弱监督训练的检测器约70%的水平。

ABSTRACT

Without the demand of training in reality, humans can easily detect a known concept simply based on its language description. Empowering deep learning with this ability undoubtedly enables the neural network to handle complex vision tasks, e.g., object detection, without collecting and annotating real images. To this end, this paper introduces a novel challenging learning paradigm Imaginary-Supervised Object Detection (ISOD), where neither real images nor manual annotations are allowed for training object detectors. To resolve this challenge, we propose ImaginaryNet, a framework to synthesize images by combining pretrained language model and text-to-image synthesis model. Given a class label, the language model is used to generate a full description of a scene with a target object, and the text-to-image model deployed to generate a photo-realistic image. With the synthesized images and class labels, weakly supervised object detection can then be leveraged to accomplish ISOD. By gradually introducing real images and manual annotations, ImaginaryNet can collaborate with other supervision settings to further boost detection performance. Experiments show that ImaginaryNet can (i) obtain about 70% performance in ISOD compared with the weakly supervised counterpart of the same backbone trained on real data, (ii) significantly improve the baseline while achieving state-of-the-art or comparable performance by incorporating ImaginaryNet with other supervision settings.

研究动机与目标

• 开发一种新型训练范式——虚幻监督目标检测（Imaginary-Supervised Object Detection, ISOD），在训练目标检测器时完全不使用真实图像或人工标注。
• 通过利用预训练的视觉-语言模型合成训练数据，解决真实世界标注数据成本高且稀缺的问题。
• 证明仅通过语言模型和图像扩散模型生成的文本描述合成图像，可有效用于弱监督目标检测。
• 探索将虚幻数据与真实数据及其他监督设置结合，以进一步提升检测性能的可行性。
• 建立ISOD的基准，并评估语言建模与数据增强对合成数据性能的影响。

提出的方法

• 使用预训练的语言模型生成包含目标物体类别的详细且多样的场景描述。
• 利用文本到图像的扩散模型，从语言模型生成的描述中生成逼真的图像。
• 将生成的图像及其对应的类别标签作为弱监督训练数据用于目标检测。
• 在合成数据上使用弱监督目标检测（WSOD）算法训练目标检测器，避免使用边界框级标注。
• 逐步引入真实图像和标注以提升性能，证明其与现有监督设置的兼容性。
• 在训练和推理阶段应用数据增强策略，验证ImaginaryNet与标准增强技术的正交性。

实验结果

研究问题

• RQ1 仅使用文本描述和预训练模型，能否在不使用任何真实图像或人工标注的情况下有效训练目标检测器？
• RQ2 在合成图像上训练的目标检测器性能，与在真实数据上使用图像级标签训练的检测器相比，效果如何？
• RQ3 语言模型在提升合成图像的多样性与质量，以及后续检测器性能方面，贡献程度如何？
• RQ4 为真实数据设计的数据增强策略，能否有效应用于本框架生成的合成图像？
• RQ5 ImaginaryNet与真实数据及其他监督范式结合时，能否显著提升检测精度？

主要发现

• ImaginaryNet在使用相同主干网络的情况下，达到真实数据弱监督检测器约70%的平均精度均值（mAP）。
• 引入语言模型显著提升了检测性能，PASCAL VOC 2007数据集上mAP从无语言模型时的31.02提升至使用语言模型后的33.23。
• 在训练和推理阶段均应用数据增强策略可提升合成数据上的性能，mAP从79.92提升至82.70，表明其与标准增强技术具有正交性。
• 仅使用2,000张合成样本，ImaginaryNet即可达到29.33的mAP，证明在低数据场景下合成数据依然有效。
• 该框架与真实数据监督具有强兼容性：当与真实图像和标注结合时，可显著提升基线性能，达到或超越当前最先进水平。
• 各类别间性能波动表明，在生成一致且检测器友好的图像方面仍存在挑战，尤其当语言模型未能生成逼真场景描述时。