[论文解读] Learning to Prompt for Open-Vocabulary Object Detection with Vision-Language Model

Yu Du, Fangyun Wei+4 more|arXiv (Cornell University)|Mar 28, 2022

Multimodal Machine Learning Applications被引用 14

一句话总结

本文提出Detection Prompt（DetPro），一种通过视觉-语言模型自动学习连续提示表征的开放词汇目标检测方法。与以往专注于图像分类的方法不同，DetPro引入了一种背景解释机制，以优化负样本提案；同时提出一种上下文分级机制，针对前景提案进行提示学习的定制化处理，从而在LVIS基准上相较基线模型ViLD，使新类别检测的AP¹¹分别提升+3.4和+3.0。

ABSTRACT

Recently, vision-language pre-training shows great potential in open-vocabulary object detection, where detectors trained on base classes are devised for detecting new classes. The class text embedding is firstly generated by feeding prompts to the text encoder of a pre-trained vision-language model. It is then used as the region classifier to supervise the training of a detector. The key element that leads to the success of this model is the proper prompt, which requires careful words tuning and ingenious design. To avoid laborious prompt engineering, there are some prompt representation learning methods being proposed for the image classification task, which however can only be sub-optimal solutions when applied to the detection task. In this paper, we introduce a novel method, detection prompt (DetPro), to learn continuous prompt representations for open-vocabulary object detection based on the pre-trained vision-language model. Different from the previous classification-oriented methods, DetPro has two highlights: 1) a background interpretation scheme to include the proposals in image background into the prompt training; 2) a context grading scheme to separate proposals in image foreground for tailored prompt training. We assemble DetPro with ViLD, a recent state-of-the-art open-world object detector, and conduct experiments on the LVIS as well as transfer learning on the Pascal VOC, COCO, Objects365 datasets. Experimental results show that our DetPro outperforms the baseline ViLD in all settings, e.g., +3.4 APbox and +3.0 APmask improvements on the novel classes of LVIS. Code and models are available at https://github.com/dyabel/detpro.

研究动机与目标

• 为解决开放词汇目标检测中手动提示工程所面临的耗时与领域专业知识依赖问题。
• 实现连续提示表征的自动学习，使其在新物体类别上具备良好的泛化能力。
• 通过在提示学习过程中引入负样本（背景）提案以及正样本提案中的不同上下文水平，提升检测性能。
• 将此前仅限于图像分类任务的提示表征学习方法，拓展至更复杂的检测任务，该任务需区分前景与背景。
• 证明所学习的提示表征在检测与零样本分类任务中均可超越人工设计的提示。

提出的方法

• DetPro引入一种背景解释机制，显式优化负样本提案，使其嵌入表示远离所有类别嵌入，从而增强背景判别能力。
• 采用一种上下文分级机制，将正样本提案按不同上下文复杂度进行分组，并为每类上下文水平应用定制化的提示学习策略，以应对上下文复杂度的差异。
• 通过温度为0.01的对比交叉熵损失函数，联合优化图像提案嵌入与对应类别嵌入之间的相似性，实现连续提示嵌入的端到端训练。
• 在训练与推理阶段，通过将ViLD（当前最先进的开放词汇检测器）中的基于提示的文本编码器替换为学习得到的连续提示，实现与DetPro的集成。
• 训练过程采用多尺度数据增强，批量大小为512，RPN每张图像生成最多1000个提案。
• 推理阶段，使用学习到的提示嵌入生成类别嵌入，作为检测头中对象提案的分类器。

实验结果

研究问题

• RQ1 连续提示学习能否有效从图像分类任务迁移至更复杂的检测任务？
• RQ2 在提示训练中引入负样本（背景）提案，对开放词汇设置下的检测性能有何影响？
• RQ3 基于正样本提案的上下文水平定制提示学习，是否能提升对新类别的泛化能力？
• RQ4 学习到的提示表征是否能在检测与零样本图像分类任务中均超越人工设计的提示？
• RQ5 在提示训练过程中使用不同数量的正样本，对模型泛化能力有何影响？

主要发现

• 与基线模型ViLD相比，DetPro在LVIS基准上对新类别的检测性能分别实现+3.4 AP¹¹和+3.0 AP¹¹的提升。
• 在DetPro训练中使用全部正样本可获得最佳泛化效果，新类别AP¹¹达到25.4。
• 与提示工程方法相比，DetPro将新类别提案的Top-1与Top-5分类准确率分别提升至21.7%和40.3%，而后者分别为17.7%和37.2%。
• 通过模型集成方式将预训练的ViLD与DetPro结合，可在最优设置下使AP¹¹进一步提升至25.4。
• t-SNE可视化结果表明，与提示工程生成的嵌入相比，DetPro生成的类别嵌入在Pascal VOC、COCO和Objects365数据集的嵌入空间中更具判别性。
• 消融实验表明，上下文分级机制与背景解释机制均至关重要，二者缺失均会导致性能下降。