[論文レビュー] DETRs Beat YOLOs on Real-time Object Detection

Y. Zhao, Wenyu Lv|arXiv (Cornell University)|Apr 17, 2023

Advanced Neural Network Applications被引用数 222

ひとこと要約

この論文は、実験に基づくとリアルタイム物体検出においてDETRベースの検出器がYOLO系列の検出器を上回ることを示している。

ABSTRACT

The YOLO series has become the most popular framework for real-time object detection due to its reasonable trade-off between speed and accuracy. However, we observe that the speed and accuracy of YOLOs are negatively affected by the NMS. Recently, end-to-end Transformer-based detectors (DETRs) have provided an alternative to eliminating NMS. Nevertheless, the high computational cost limits their practicality and hinders them from fully exploiting the advantage of excluding NMS. In this paper, we propose the Real-Time DEtection TRansformer (RT-DETR), the first real-time end-to-end object detector to our best knowledge that addresses the above dilemma. We build RT-DETR in two steps, drawing on the advanced DETR: first we focus on maintaining accuracy while improving speed, followed by maintaining speed while improving accuracy. Specifically, we design an efficient hybrid encoder to expeditiously process multi-scale features by decoupling intra-scale interaction and cross-scale fusion to improve speed. Then, we propose the uncertainty-minimal query selection to provide high-quality initial queries to the decoder, thereby improving accuracy. In addition, RT-DETR supports flexible speed tuning by adjusting the number of decoder layers to adapt to various scenarios without retraining. Our RT-DETR-R50 / R101 achieves 53.1% / 54.3% AP on COCO and 108 / 74 FPS on T4 GPU, outperforming previously advanced YOLOs in both speed and accuracy. We also develop scaled RT-DETRs that outperform the lighter YOLO detectors (S and M models). Furthermore, RT-DETR-R50 outperforms DINO-R50 by 2.2% AP in accuracy and about 21 times in FPS. After pre-training with Objects365, RT-DETR-R50 / R101 achieves 55.3% / 56.2% AP. The project page: https://zhao-yian.github.io/RTDETR.

研究の動機と目的

• リアルタイム物体検出のための transformer ベースの DETR 検出器と YOLO 系列検出器との比較を動機づける。
• リアルタイム制約下での DETR アプローチと YOLO アプローチの性能格差を調査する。
• リアルタイム検出タスクのモデル選択を導くための実証的証拠を提供する。

提案手法

• リアルタイム制約下で DETR ベースの検出器と YOLO-series モデルを比較する実験を実施する。
• リアルタイム性能評価のベースラインとしてエンドツーエンドの DETR アーキテクチャを活用する。
• DETR と YOLO に関する関連する先行研究を引用・比較して文脈的根拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 DETR ベースの検出器はリアルタイム物体検出のシナリオで YOLO 系列の検出器を上回るか？
• RQ2 リアルタイム要件下で、DETR 手法の観察された強みと限界は何か？
• RQ3 実用展開におけるエンドツーエンド DETR の性能は、迅速なワンステージ YOLO 系バリアントとどう比較されるか？

主な発見

• DETR-based detectors outperform YOLO-series detectors in real-time object detection according to the authors’ experiments.
• The findings position DETRs as competitive or superior choices for real-time detection tasks in certain settings.
• The paper provides empirical evaluation to support the DETR vs. YOLO comparison in practical deployment contexts.