[论文解读] Detecting Everything in the Open World: Towards Universal Object Detection

Zhenyu Wang, Yali Li+5 more|arXiv (Cornell University)|Mar 21, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出UniDetector，一种通用目标检测框架，通过利用多源异构数据集和视觉-语言预训练，实现强大的零样本泛化能力。通过将区域建议生成与分类解耦并应用概率校准，UniDetector可检测超过7,000种类别——在COCO数据集上对新类别性能超越先前方法3.5%，在LVIS上提升2.6%，且无需微调，展示了在极小训练数据下的最先进开放世界检测性能。

ABSTRACT

In this paper, we formally address universal object detection, which aims to detect every scene and predict every category. The dependence on human annotations, the limited visual information, and the novel categories in the open world severely restrict the universality of traditional detectors. We propose UniDetector, a universal object detector that has the ability to recognize enormous categories in the open world. The critical points for the universality of UniDetector are: 1) it leverages images of multiple sources and heterogeneous label spaces for training through the alignment of image and text spaces, which guarantees sufficient information for universal representations. 2) it generalizes to the open world easily while keeping the balance between seen and unseen classes, thanks to abundant information from both vision and language modalities. 3) it further promotes the generalization ability to novel categories through our proposed decoupling training manner and probability calibration. These contributions allow UniDetector to detect over 7k categories, the largest measurable category size so far, with only about 500 classes participating in training. Our UniDetector behaves the strong zero-shot generalization ability on large-vocabulary datasets like LVIS, ImageNetBoxes, and VisualGenome - it surpasses the traditional supervised baselines by more than 4\% on average without seeing any corresponding images. On 13 public detection datasets with various scenes, UniDetector also achieves state-of-the-art performance with only a 3\% amount of training data.

研究动机与目标

• 解决传统检测器依赖固定封闭世界数据集、难以泛化到未见新类别的问题。
• 通过在多样化、多源数据集上进行训练，实现通用目标检测，从而提升类别覆盖度与表征学习能力。
• 通过利用视觉-语言预训练并缓解预测偏差，提升对未见类别的零样本泛化能力。
• 开发一种将建议生成与分类解耦的训练范式，提升开放世界场景下的鲁棒性。
• 通过校准预测概率，降低基础类别上的过度自信，提升对新类别的公平性。

提出的方法

• UniDetector采用分区训练结构，在具有异构标签空间的多个数据集之间对齐图像与文本嵌入，实现无标签空间冲突的联合学习。
• 它将区域建议生成与RoI分类阶段解耦，使建议网络能够通过类别无关定位网络（CLN）专注于定位任务。
• CLN通过同时优化定位质量与置信度得分，训练生成高质量的类别无关建议，从而提升对未见类别的泛化能力。
• 通过估计所有类别的先验概率，并重新加权预测分布，实现概率校准，以降低基础类别上的过度自信。
• 框架利用预训练的视觉-语言模型（如CLIP）对图像和类别名称进行嵌入，实现对新类别的零样本推理。
• 训练在COCO、Objects365和ImageNet的组合数据集上进行，采用图像级标注，实现大规模多源预训练。

Figure 1 : Illustration for the universal object detector. It aims to detect every category in every scene and should have the ability to utilize images of multiple sources with heterogeneous label spaces for training and generalize to the open world for inference.

实验结果

研究问题

• RQ1 能否在具有异构标签空间的多源数据集上有效训练通用目标检测器，同时保持特征一致性？
• RQ2 将区域建议生成与分类解耦，如何提升开放世界检测中的零样本泛化能力？
• RQ3 概率校准在多大程度上可减少预测偏差并提升对未见类别的性能？
• RQ4 使用视觉-语言预训练对检测大量未见类别（无需任何微调）有何影响？
• RQ5 在大规模词汇量、开放世界数据集上，UniDetector与现有检测器相比在性能与数据效率方面如何？

主要发现

• 在COCO数据集的新类别上，UniDetector达到35.2%的框AP，超越先前最先进方法（RegionCLIP，31.7%）3.5%，且无需微调。
• 在LVIS数据集上，UniDetector在新类别上达到29.3%的框AP与26.5%的掩码AP，分别超越Detic 2.6%与1.6%。
• 仅使用10%的训练数据，UniDetector在新类别AP上仍比OWL-ViT高出1.3%，展现出极高的数据效率。
• 采用CLN的解耦训练相比标准RPN提升AP 3.1%，相比Cascade RPN提升1.5%，显示出更优的泛化能力。
• 概率校准使LVIS上新类别AP提升超过2%，显著缩小了基础类别与新类别之间的性能差距。
• 尽管在某些设置下仅使用一个检测数据集进行训练，UniDetector仍达到最先进结果，表明其具备强大的通用性与可扩展性。

Figure 2 : Overview of UniDetector. It consists of three steps. With the image-text pre-training parameters, UniDetector is trained with images of different sources with multiple label spaces. In this way, it can directly detect in the open world for inference. ’V’ denotes the module to process visu