[论文解读] DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection

Shilin Xu, Xiangtai Li+4 more|arXiv (Cornell University)|Oct 2, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本文提出DST-Det，一种用于开放词汇目标检测的动态自训练方法，利用预训练视觉-语言模型（如CLIP）在训练过程中生成新类别的高质量伪标签。通过一种简单、端到端的流水线，动态过滤并将其伪标签整合到检测头中，该方法在不增加额外数据、参数或推理成本的情况下，提升了新类别的AP，在LVIS上实现1.7%的提升，在V3Det上实现超过6.5%的增益，优于先前方法。

ABSTRACT

Open-vocabulary object detection (OVOD) aims to detect the objects beyond the set of classes observed during training. This work introduces a straightforward and efficient strategy that utilizes pre-trained vision-language models (VLM), like CLIP, to identify potential novel classes through zero-shot classification. Previous methods use a class-agnostic region proposal network to detect object proposals and consider the proposals that do not match the ground truth as background. Unlike these methods, our method will select a subset of proposals that will be considered as background during the training. Then, we treat them as novel classes during training. We refer to this approach as the self-training strategy, which enhances recall and accuracy for novel classes without requiring extra annotations, datasets, and re-training. Compared to previous pseudo methods, our approach does not require re-training and offline labeling processing, which is more efficient and effective in one-shot training. Empirical evaluations on three datasets, including LVIS, V3Det, and COCO, demonstrate significant improvements over the baseline performance without incurring additional parameters or computational costs during inference. In addition, we also apply our method to various baselines. In particular, compared with the previous method, F-VLM, our method achieves a 1.7% improvement on the LVIS dataset. Combined with the recent method CLIPSelf, our method also achieves 46.7 novel class AP on COCO without introducing extra data for pertaining. We also achieve over 6.5% improvement over the F-VLM baseline in the recent challenging V3Det dataset. We release our code and models at https://github.com/xushilin1/dst-det.

研究动机与目标

• 为弥合开放词汇目标检测（OVOD）中训练与推理之间的概念差距，即在训练期间将新类别视为背景，但在推理时需检测这些类别。
• 在不依赖额外标注、数据集或可学习组件的前提下，提升新类别的检测性能。
• 开发一种即插即用的端到端训练策略，利用视觉-语言模型（VLM）的零样本能力，动态生成并优化伪标签。
• 通过利用VLM的自知识和RPN输出，在大规模词汇量数据集（如LVIS和V3Det）上实现显著的性能提升。

提出的方法

• 该方法利用CLIP的零样本分类能力，对RPN生成的区域提议动态生成新类别的伪标签。
• 通过基于CLIP视觉特征与新类别文本嵌入之间余弦相似度的筛选机制，选择高置信度提议。
• 将选定的提议作为伪标签，用于监督分类头，直接提升检测器在训练期间识别新类别的能力。
• 通过离线优化步骤（OR）进一步提升伪标签质量，利用置信度阈值重新评分并过滤提议，从而提高召回率和准确性。
• 该方法为端到端且即插即用，无需额外可学习组件或两阶段训练流程。
• 可无缝集成到现有检测器中，仅需修改RPN和RoI头中的分类损失以整合伪标签。

实验结果

研究问题

• RQ1 能否通过在训练期间利用自生成的伪标签，弥合开放词汇目标检测中新类别在训练与推理之间的差距？
• RQ2 利用VLM和RPN输出进行动态伪标签生成，在不增加额外数据或参数的情况下，对提升新类别检测性能有多有效？
• RQ3 筛选标准和离线优化对伪标签质量及下游检测准确率有何影响？
• RQ4 该方法能否在词汇量差异较大的数据集（如COCO、LVIS和V3Det）上实现泛化？
• RQ5 与现有两阶段或数据增强方法相比，该方法在性能和效率方面表现如何？

主要发现

• 与先前SOTA方法F-VLM相比，DST-Det在LVIS数据集上实现了新类别AP 1.7%的绝对提升。
• 在包含超过10,000个类别的挑战性V3Det数据集中，该方法在新类别AP上实现了超过6.5%的性能增益。
• 当与CLIPSelf结合时，DST-Det在COCO上实现了46.7的AP（新类别），且无需任何额外预训练数据。
• 离线优化步骤（OR）在COCO上显著提升性能，其中检测器已有较强召回率，但在LVIS和V3Det等大规模词汇量数据集中增益有限。
• 消融实验表明，高置信度伪标签至关重要，基于置信度的筛选能同时提升新类别的AR和AP。
• 可视化结果表明，该方法成功检测并分割了以往基线模型所遗漏的新类别，如“汤”和“啤酒瓶”。