[论文解读] Open-Vocabulary Object Detection using Pseudo Caption Labels

Han-Cheol Cho, Won Young Jhoo+2 more|arXiv (Cornell University)|Mar 23, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出伪字幕标注（Pseudo Caption Labeling, PCL），一种简单的预处理技术，通过使用图像字幕模型为物体实例生成丰富、描述性强的字幕，从而提升开放词汇目标检测性能。通过将物体标签转化为多样化、上下文感知的伪字幕（使用带20%边距的裁剪图像及物体名称前缀），PCL 实现了从视觉-语言模型中更有效的知识蒸馏，在去重后的 VisualGenome 数据集上训练时，于 LVIS 基准测试中实现了 34.5 的 AP 和 30.6 的 APr，达到当前最优性能。

ABSTRACT

Recent open-vocabulary detection methods aim to detect novel objects by distilling knowledge from vision-language models (VLMs) trained on a vast amount of image-text pairs. To improve the effectiveness of these methods, researchers have utilized datasets with a large vocabulary that contains a large number of object classes, under the assumption that such data will enable models to extract comprehensive knowledge on the relationships between various objects and better generalize to unseen object classes. In this study, we argue that more fine-grained labels are necessary to extract richer knowledge about novel objects, including object attributes and relationships, in addition to their names. To address this challenge, we propose a simple and effective method named Pseudo Caption Labeling (PCL), which utilizes an image captioning model to generate captions that describe object instances from diverse perspectives. The resulting pseudo caption labels offer dense samples for knowledge distillation. On the LVIS benchmark, our best model trained on the de-duplicated VisualGenome dataset achieves an AP of 34.5 and an APr of 30.6, comparable to the state-of-the-art performance. PCL's simplicity and flexibility are other notable features, as it is a straightforward pre-processing technique that can be used with any image captioning model without imposing any restrictions on model architecture or training process.

研究动机与目标

• 通过提取超越类别名称的更丰富、更多样化的关于新物体的知识，提升开放词汇目标检测性能。
• 通过引入细粒度、上下文丰富的伪字幕标签，解决粗粒度人工提示标签的局限性。
• 开发一种灵活、与模型架构无关的预处理方法，增强知识蒸馏，而无需修改模型训练或架构。
• 通过在伪字幕中利用关系、属性和环境上下文，提升对未见物体类别的泛化能力。
• 证明仅通过简单的预处理结合字幕模型，即可在开放词汇目标检测中媲美复杂的多数据集训练方法。

提出的方法

• PCL 通过将带 20% 边距的裁剪物体图像及物体名称作为前缀输入预训练图像字幕模型，生成伪字幕标签。
• 该方法将标准检测数据集转化为区域-字幕数据集，从而实现从视觉-语言模型中进行知识蒸馏。
• 物体名称前缀确保所有生成的字幕明确提及目标物体，保持标签一致性。
• 该方法模块化，兼容任意图像字幕模型，无需对模型架构或训练过程进行任何修改。
• 伪字幕捕捉了物体属性、关系及周围上下文，丰富了蒸馏到检测器中的知识。
• 该方法在数据预处理阶段应用，因此与现有开放词汇目标检测训练流程和模型架构完全兼容。

实验结果

研究问题

• RQ1 与标准人工提示标签相比，细粒度、上下文丰富的伪字幕标签是否能提升开放词汇目标检测性能？
• RQ2 在伪标签中引入物体属性、关系和环境上下文是否能增强对新物体类别的泛化能力？
• RQ3 使用图像字幕模型生成标签的方法与传统弱监督或多数据集方法相比，在开放词汇目标检测中表现如何？
• RQ4 哪些设计选择（如裁剪边距、前缀添加或字幕多样性）对性能影响最大？
• RQ5 一种简单的预处理技术如 PCL 是否能在不修改架构或使用复杂训练方案的情况下实现最先进性能？

主要发现

• 当在去重后的 VisualGenome 数据集上训练时，PCL 在 LVIS 基准测试中实现了 34.5 的 AP 和 30.6 的 APr，达到当前最优性能。
• 在训练中移除人工提示标签导致性能显著下降（AP -2.2，APr -2.0），凸显了标签一致性的重要性。
• 使用 20% 裁剪边距提升了上下文理解能力，与使用原始边界框相比，使 APr 下降减少了 1.6。
• PCL 模型在复杂自由形式查询（如“戴着银吊坠项圈的猫”）中表现更优，能准确检测出主对象，而基线模型则失败。
• 消融实验证实，为每个物体使用多个字幕以及添加物体名称前缀对性能提升至关重要。
• 尽管字幕生成存在部分错误（例如在一个示例中 16 个标签中有 7 个错误），该方法仍保持鲁棒且高效。