[论文解读] DINO-X: A Unified Vision Model for Open-World Object Detection and Understanding

Tianhe Ren, Yihao Chen+18 more|arXiv (Cornell University)|Nov 21, 2024

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

DINO-X 是一种统一的、以物体为中心的视觉模型，通过利用大规模的 10000 万样本定位数据集并支持多模态提示（文本、视觉和自定义），在开放世界目标检测与理解任务中实现了最先进性能。该模型支持无需提示的检测、分割、姿态估计和密集字幕生成，其中 DINO-X Pro 模型在 COCO 上达到 56.0 AP，在罕见 LVIS 类别上达到 63.3 AP，相较于之前最先进方法提升了 5.8 AP。

ABSTRACT

In this paper, we introduce DINO-X, which is a unified object-centric vision model developed by IDEA Research with the best open-world object detection performance to date. DINO-X employs the same Transformer-based encoder-decoder architecture as Grounding DINO 1.5 to pursue an object-level representation for open-world object understanding. To make long-tailed object detection easy, DINO-X extends its input options to support text prompt, visual prompt, and customized prompt. With such flexible prompt options, we develop a universal object prompt to support prompt-free open-world detection, making it possible to detect anything in an image without requiring users to provide any prompt. To enhance the model's core grounding capability, we have constructed a large-scale dataset with over 100 million high-quality grounding samples, referred to as Grounding-100M, for advancing the model's open-vocabulary detection performance. Pre-training on such a large-scale grounding dataset leads to a foundational object-level representation, which enables DINO-X to integrate multiple perception heads to simultaneously support multiple object perception and understanding tasks, including detection, segmentation, pose estimation, object captioning, object-based QA, etc. Experimental results demonstrate the superior performance of DINO-X. Specifically, the DINO-X Pro model achieves 56.0 AP, 59.8 AP, and 52.4 AP on the COCO, LVIS-minival, and LVIS-val zero-shot object detection benchmarks, respectively. Notably, it scores 63.3 AP and 56.5 AP on the rare classes of LVIS-minival and LVIS-val benchmarks, improving the previous SOTA performance by 5.8 AP and 5.0 AP. Such a result underscores its significantly improved capacity for recognizing long-tailed objects.

研究动机与目标

• 开发一种统一的视觉模型，以支持在多样化、未见过的类别上实现开放世界目标检测与理解。
• 通过支持灵活的提示输入（文本、视觉、自定义）和无需提示的检测，克服长尾目标检测的局限性。
• 通过在 1 亿个高质量定位样本上进行大规模预训练，增强基础的物体级表征能力。
• 集成多种感知头（检测、分割、关键点、语言），实现密集的多任务物体理解。
• 通过引入轻量级 DINO-X Edge 模型，优化实际部署性能，适用于边缘设备。

提出的方法

• 采用与 Grounding DINO 1.5 相同的基于 Transformer 的编码器-解码器架构，以实现一致的物体级表征学习。
• 引入三种提示类型：文本提示、视觉提示和可自定义提示嵌入，以支持多样化的检测场景。
• 开发一种通用物体提示，实现无需提示的检测，从而无需用户输入即可检测图像中的任意物体。
• 在 Grounding-100M 上进行预训练——该数据集为超过 1 亿个高质量定位样本构成的大规模、精心筛选的数据集，以实现鲁棒的开放词汇泛化能力。
• 集成多种感知头：边界框头（检测）、掩码头（分割）、关键点头（姿态估计）和语言头（密集字幕生成）。
• 对 DINO-X Edge 模型进行优化，以实现更快的推理速度，并适用于边缘设备上的部署，同时保持强大的性能。

实验结果

研究问题

• RQ1 统一的视觉模型是否能在多样化、长尾类别的开放世界目标检测中实现最先进性能？
• RQ2 无需提示的检测在无需用户提供的提示下，是否能有效实现通用物体识别？
• RQ3 在大规模定位数据集上进行预训练，能在多大程度上提升零样本泛化能力和多任务感知能力？
• RQ4 多模态提示支持（文本、视觉、自定义）是否能显著提升在罕见或难以描述场景下的检测鲁棒性？
• RQ5 单一模型能否在高精度和高效率下，联合完成检测、分割、姿态估计和密集字幕生成？

主要发现

• DINO-X Pro 模型在 COCO 零样本检测基准上达到 56.0 AP，创下新的 SOTA 记录。
• 在 LVIS-minival 基准上，DINO-X Pro 达到 59.8 AP，相较于 Grounding DINO 1.6 Pro 在罕见类别上提升了 5.8 AP。
• 在罕见 LVIS 类别上，DINO-X Pro 在 LVIS-minival 上得分为 63.3 AP，在 LVIS-val 上得分为 56.5 AP，相较于 Grounding DINO 1.5 Pro 分别提升了 7.2 AP 和 11.9 AP。
• 该模型支持无需提示的检测，可在无需任何提示输入的情况下检测图像中的任意物体。
• DINO-X 支持密集区域字幕生成、基于物体的视觉问答，以及包括分割和姿态估计在内的多任务感知。
• DINO-X Edge 模型经过优化，推理速度快，适用于边缘设备部署，显著扩展了模型的实际应用范围。