[論文レビュー] Grounding DINO 1.5: Advance the "Edge" of Open-Set Object Detection
Grounding DINO 1.5 は Pro と Edge の二つのモデルを導入し、オープンセット物体検出をさらに前進させる。Pro は COCO/LVIS と ODinW で新しいゼロショット記録を設定し、Edge は TensorRT 最適化されたエッジ対応の派生で、リアルタイム性能と競争力のゼロショット精度を実現する。
This paper introduces Grounding DINO 1.5, a suite of advanced open-set object detection models developed by IDEA Research, which aims to advance the "Edge" of open-set object detection. The suite encompasses two models: Grounding DINO 1.5 Pro, a high-performance model designed for stronger generalization capability across a wide range of scenarios, and Grounding DINO 1.5 Edge, an efficient model optimized for faster speed demanded in many applications requiring edge deployment. The Grounding DINO 1.5 Pro model advances its predecessor by scaling up the model architecture, integrating an enhanced vision backbone, and expanding the training dataset to over 20 million images with grounding annotations, thereby achieving a richer semantic understanding. The Grounding DINO 1.5 Edge model, while designed for efficiency with reduced feature scales, maintains robust detection capabilities by being trained on the same comprehensive dataset. Empirical results demonstrate the effectiveness of Grounding DINO 1.5, with the Grounding DINO 1.5 Pro model attaining a 54.3 AP on the COCO detection benchmark and a 55.7 AP on the LVIS-minival zero-shot transfer benchmark, setting new records for open-set object detection. Furthermore, the Grounding DINO 1.5 Edge model, when optimized with TensorRT, achieves a speed of 75.2 FPS while attaining a zero-shot performance of 36.2 AP on the LVIS-minival benchmark, making it more suitable for edge computing scenarios. Model examples and demos with API will be released at https://github.com/IDEA-Research/Grounding-DINO-1.5-API
研究の動機と目的
- Open-set object detection の一般化と推論速度を高める。
- データとモデル容量を拡大して、COCO、LVIS、ODinW ベンチマーク全体でゼロショットおよび転移性能を向上させる。
- 検出品質を維持しつつリアルタイ deployment を可能にするエッジ最適化バリアントを開発する。
提案手法
- 二重エンコーダ-シングルデコーダ構成の Grounding DINO フレームワークを、Pro と Edge の二つの Variant で保持する。
- Grounding DINO 1.5 Pro はより大きな Vision Transformer (ViT-L) バックボーンと、言語と画像特徴間の深いEarly Fusion を採用する。
- Grounding-20M データセットで grounding アノテーションと意味理解を豊富にする。
- Grounding DINO 1.5 Edge は高レベル特徴 (P5) のみを用いる効率的な feature enhancer を導入し、deformable を vanilla self-attention に置換し、低レベル特徴とのクロススケール融合を行う。
- EfficientViT-L1 バックボーンと TensorRT の最適化によりエッジデバイスでのリアルタイム推論を実現する。
- COCO/LVIS および ODinW ベンチマークでの広範なゼロショット評価と、LVIS および ODinW データセットでのファインチューニング。
実験結果
リサーチクエスチョン
- RQ1Grounding DINO 1.5 は従来の Grounding DINO バージョンと比較して標準ベンチマーク(COCO、LVIS)でゼロショット検出をどう改善するか?
- RQ2モデル容量とデータセットサイズを拡大する(Pro)場合と、エッジ最適化の効率性(Edge)を追求する場合のオープンセット検出の利得はどの程度か?
- RQ3エッジ最適化された Grounding DINO 1.5 Edge は substantial の損失なしにエッジハードウェア上でリアルタイム推論を達成できるか?
- RQ4下流データセット(例:LVIS、ODinW)でのファインチューニングは Grounding DINO 1.5 Pro のゼロショットおよび転移性能にどう影響するか?
主な発見
- Grounding DINO 1.5 Pro は COCO のゼロショット転移で 54.3 AP、LVIS のゼロショット転移で LVIS-minival 55.7 AP / LVIS-val 47.6 AP を達成。
- ODinW ベンチマークでは Grounding DINO 1.5 Pro が ODinW13 で平均 58.7 AP、ODinW35 で平均 30.2 AP のゼロショットを達成;ファインチューニングにより ODinW13 が 72.4 AP、ODinW35 が 70.6 AP に向上。
- Grounding DINO 1.5 Edge は TensorRT 最適化時に 75.2 FPS で動作し、ゼロショットで LVIS-minival で 36.2 AP を達成;640x640 ではエッジ展開が NVIDIA Orin NX で 10 FPS を超える。
- Zero-shot LVIS-minival の COCO/LVIS 結果として Edge は COCO で 42.9 AP、LVIS-minival で 36.2 AP を示し、表内で 10.7/Orin-NX FPS が報告される。
- LVIS および ODinW データセットでのファインチューニングは大幅な利得をもたらす:LVIS-minival 68.1 AP、LVIS-val 68.7 AP(Pro);ODinW13 72.4 AP、ODinW35 70.6 AP(ファインチューニング後)。
- Grounding DINO と比較して、Grounding DINO 1.5 Pro はゼロショットおよび転移ベンチマークの全般で明確な改善を示す。Edge はエッジに優しい設計で競争力のあるリアルタイム性能を示す。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。