Skip to main content
QUICK REVIEW

[论文解读] Grounding DINO 1.5: Advance the "Edge" of Open-Set Object Detection

Tianhe Ren, Qing Jiang|arXiv (Cornell University)|May 16, 2024
Advanced Neural Network ApplicationsComputer Science被引用 10
一句话总结

Grounding DINO 1.5 引入两种模型(Pro 和 Edge),将开放集目标检测推向新的高度:Pro 在 COCO/LVIS 和 ODinW 上刷新了零样本记录;Edge 是一个经过 TensorRT 优化、适合边缘设备的变体,在实现实时性能的同时保持具有竞争力的零样本准确性。

ABSTRACT

This paper introduces Grounding DINO 1.5, a suite of advanced open-set object detection models developed by IDEA Research, which aims to advance the "Edge" of open-set object detection. The suite encompasses two models: Grounding DINO 1.5 Pro, a high-performance model designed for stronger generalization capability across a wide range of scenarios, and Grounding DINO 1.5 Edge, an efficient model optimized for faster speed demanded in many applications requiring edge deployment. The Grounding DINO 1.5 Pro model advances its predecessor by scaling up the model architecture, integrating an enhanced vision backbone, and expanding the training dataset to over 20 million images with grounding annotations, thereby achieving a richer semantic understanding. The Grounding DINO 1.5 Edge model, while designed for efficiency with reduced feature scales, maintains robust detection capabilities by being trained on the same comprehensive dataset. Empirical results demonstrate the effectiveness of Grounding DINO 1.5, with the Grounding DINO 1.5 Pro model attaining a 54.3 AP on the COCO detection benchmark and a 55.7 AP on the LVIS-minival zero-shot transfer benchmark, setting new records for open-set object detection. Furthermore, the Grounding DINO 1.5 Edge model, when optimized with TensorRT, achieves a speed of 75.2 FPS while attaining a zero-shot performance of 36.2 AP on the LVIS-minival benchmark, making it more suitable for edge computing scenarios. Model examples and demos with API will be released at https://github.com/IDEA-Research/Grounding-DINO-1.5-API

研究动机与目标

  • 通过更强的泛化能力和更快的推理,推进开放集目标检测。
  • 扩大数据和模型容量,以提升在 COCO、LVIS 和 ODinW 基准上的零样本与迁移性能。
  • 开发一个边缘优化变体,在保持检测质量的同时实现实时部署。

提出的方法

  • 保留 Dual-Encoder-Single-Decoder 的 Grounding DINO 框架,提供 Pro 与 Edge 两个变体。
  • Grounding DINO 1.5 Pro 使用更大的 Vision Transformer (ViT-L) 主干,以及语言与图像特征之间的深层早期融合。
  • 在 Grounding-20M 数据集上训练,以丰富定位注释和语义理解。
  • Grounding DINO 1.5 Edge 引入一个高效的特征增强器,仅使用高层特征(P5),将可变形卷积替换为普通自注意力,并与低层特征进行跨尺度融合。
  • EfficientViT-L1 主干和 TensorRT 优化使边缘设备部署成为可能,实现实时性能。
  • 在 COCO/LVIS 和 ODinW 基准上进行广泛的零样本评测,并在 LVIS 和 ODinW 数据集上进行微调。

实验结果

研究问题

  • RQ1相较于早期的 Grounding DINO 版本,Grounding DINO 1.5 如何在标准基准(COCO、LVIS)上改进零样本检测?
  • RQ2在扩大模型容量与数据规模(Pro)与边缘优化效率(Edge)之间,开放集检测的增益有多大?
  • RQ3边缘优化的 Grounding DINO 1.5 Edge 能否在边缘硬件上实现实时推理,同时不对开放集检测性能造成实质性损失?
  • RQ4在下游数据集(如 LVIS、ODinW)上的微调如何影响 Grounding DINO 1.5 Pro 的零样本与迁移性能?

主要发现

  • Grounding DINO 1.5 Pro 在 COCO 零样本迁移上达到 54.3 AP,在 LVIS 零样本迁移中达到 55.7 AP(LVIS-minival)/ 47.6 AP(LVIS-val)。
  • 在 ODinW 基准上,Grounding DINO 1.5 Pro 在 ODinW13 的零样本平均 AP 达到 58.7,ODinW35 的零样本平均 AP 为 30.2;微调后 ODinW13 提升至 72.4 AP,ODinW35 提升至 70.6 AP。
  • Grounding DINO 1.5 Edge,经 TensorRT 优化后,在零样本环境下以 75.2 FPS 运行,并在 LVIS-minival 取得 36.2 AP;在 640x640 分辨率下,边缘部署在 NVIDIA Orin NX 上超过 10 FPS。
  • Edge 的零样本 LVIS-minival 在 COCO 上为 42.9 AP,在 LVIS-minival 上为 36.2 AP(表中给出 10.7/Orin-NX FPS)。
  • 在 LVIS 和 ODinW 数据集上的微调带来显著提升:LVIS-minival 68.1 AP 和 LVIS-val 68.7 AP(Pro);ODinW13 72.4 AP 和 ODinW35 70.6 AP(微调后)。
  • 与 Grounding DINO 相比,Grounding DINO 1.5 Pro 在零样本和迁移基准上显示出明显改进;Edge 展现出具有竞争力的实时性能与边缘友好设计。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。