Skip to main content
QUICK REVIEW

[논문 리뷰] Grounding DINO 1.5: Advance the "Edge" of Open-Set Object Detection

Tianhe Ren, Qing Jiang|arXiv (Cornell University)|2024. 05. 16.
Advanced Neural Network ApplicationsComputer Science인용 수 10
한 줄 요약

Grounding DINO 1.5는 두 모델(Pro와 Edge)을 도입해 개방 세트 객체 탐지를 더 확장합니다: Pro는 COCO/LVIS 및 ODinW에서 새로운 제로샷 기록을 세우고, Edge는 TensorRT 최적화된 에지 친화적 변형으로 실시간 성능과 경쟁력 있는 제로샷 정확도를 달성합니다.

ABSTRACT

This paper introduces Grounding DINO 1.5, a suite of advanced open-set object detection models developed by IDEA Research, which aims to advance the "Edge" of open-set object detection. The suite encompasses two models: Grounding DINO 1.5 Pro, a high-performance model designed for stronger generalization capability across a wide range of scenarios, and Grounding DINO 1.5 Edge, an efficient model optimized for faster speed demanded in many applications requiring edge deployment. The Grounding DINO 1.5 Pro model advances its predecessor by scaling up the model architecture, integrating an enhanced vision backbone, and expanding the training dataset to over 20 million images with grounding annotations, thereby achieving a richer semantic understanding. The Grounding DINO 1.5 Edge model, while designed for efficiency with reduced feature scales, maintains robust detection capabilities by being trained on the same comprehensive dataset. Empirical results demonstrate the effectiveness of Grounding DINO 1.5, with the Grounding DINO 1.5 Pro model attaining a 54.3 AP on the COCO detection benchmark and a 55.7 AP on the LVIS-minival zero-shot transfer benchmark, setting new records for open-set object detection. Furthermore, the Grounding DINO 1.5 Edge model, when optimized with TensorRT, achieves a speed of 75.2 FPS while attaining a zero-shot performance of 36.2 AP on the LVIS-minival benchmark, making it more suitable for edge computing scenarios. Model examples and demos with API will be released at https://github.com/IDEA-Research/Grounding-DINO-1.5-API

연구 동기 및 목표

  • 강력한 일반화와 더 빠른 추론을 통해 개방 세트 객체 탐지 발전.
  • 데이터 및 모델 용량을 확장하여 COCO, LVIS, ODinW 벤치마크에서 제로샷 및 전이 성능 향상.
  • 감지 품질을 보존하면서 실시간 배포를 가능하게 하는 에지 최적화 변형 개발.

제안 방법

  • Pro와 Edge 두 변형을 갖춘 듀얼 인코더-싱글 디코더 Grounding DINO 프레임워크 유지.
  • Grounding DINO 1.5 Pro는 더 큰 ViT-L 백본과 언어-이미지 특징 간의 깊은 이른 융합 사용.
  • Grounding-20M 데이터셋으로 grounding 주석 및 의미 이해를 풍부하게 학습.
  • Grounding DINO 1.5 Edge는 오직 고수준 특성(P5)만 사용하는 효율적 특징 강화기 도입 및 변형 가능한(deformable) 주의 대신 일반 self-attention 사용, 그리고 낮은 해상 특징과의 교차 스케일 융합.
  • EfficientViT-L1 백본 및 TensorRT 최적화로 에지 디바이스 배포 및 실시간 성능 가능.
  • COCO/LVIS 및 ODinW 벤치마크에서 광범위한 제로샷 평가 및 LVIS 및 ODinW 데이터셋에서 미세 조정.

실험 결과

연구 질문

  • RQ1Grounding DINO 1.5가 이전 Grounding DINO 버전과 비교하여 표준 벤치마크(COCO, LVIS)에서 제로샷 탐지를 개선하는가?
  • RQ2모델 용량과 데이터 세트 크기를 확장(Pro) 대비 에지 최적화 효율성(Edge)에서 얻는 개방 세트 탐지의 이득은 무엇인가?
  • RQ3에지 최적화 Grounding DINO 1.5 Edge가 에지 하드웨어에서 실시간 추론을 달성할 수 있는가, 개방 세트 탐지 성능의 큰 손실 없이?
  • RQ4다운스트림 데이터세트(LVIS, ODinW)에서 미세 조정이 Grounding DINO 1.5 Pro의 제로샷 및 전이 성능에 어떤 영향을 주는가?

주요 결과

  • Grounding DINO 1.5 Pro는 COCO 제로샷 전이에서 54.3 AP, LVIS-minival에서 55.7 AP / LVIS-val에서 47.6 AP 달성.
  • ODinW 벤치마크에서 Grounding DINO 1.5 Pro는 ODinW13에서 평균 58.7 AP, ODinW35에서 평균 30.2 AP의 제로샷; 미세 조정으로 ODinW13 72.4 AP 및 ODinW35 70.6 AP로 상승.
  • Grounding DINO 1.5 Edge는 TensorRT로 최적화 시 제로샷에서 LVIS-minival에서 36.2 AP를 달성하며 75.2 FPS로 동작; 640x640에서 에지 배포는 NVIDIA Orin NX에서 10 FPS를 초과.
  • 제로샷 LVIS-minival COCO/LVIS 결과: Edge는 COCO에서 42.9 AP, LVIS-minival에서 36.2 AP (테이블에 10.7/Orin-NX FPS 보고).
  • LVIS 및 ODinW 데이터셋에서 미세 조정 시 큰 이득: LVIS-minival 68.1 AP 및 LVIS-val 68.7 AP (Pro); ODinW13 72.4 AP 및 ODinW35 70.6 AP (미세 조정 후).
  • Grounding DINO와 비교하여 Grounding DINO 1.5 Pro는 제로샷 및 전이 벤치마크에서 명확한 개선을 보이며; Edge는 에지 친화적 설계로 실시간 성능 경쟁력.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.