[논문 리뷰] DETRs Beat YOLOs on Real-time Object Detection

Y. Zhao, Wenyu Lv|arXiv (Cornell University)|2023. 04. 17.

Advanced Neural Network Applications인용 수 222

한 줄 요약

이 논문은 그들의 실험에 기반해 DETR 기반 탐지기가 YOLO-시리즈 탐지기보다 실시간 객체 탐지에서 우수하다고 보여준다.

ABSTRACT

The YOLO series has become the most popular framework for real-time object detection due to its reasonable trade-off between speed and accuracy. However, we observe that the speed and accuracy of YOLOs are negatively affected by the NMS. Recently, end-to-end Transformer-based detectors (DETRs) have provided an alternative to eliminating NMS. Nevertheless, the high computational cost limits their practicality and hinders them from fully exploiting the advantage of excluding NMS. In this paper, we propose the Real-Time DEtection TRansformer (RT-DETR), the first real-time end-to-end object detector to our best knowledge that addresses the above dilemma. We build RT-DETR in two steps, drawing on the advanced DETR: first we focus on maintaining accuracy while improving speed, followed by maintaining speed while improving accuracy. Specifically, we design an efficient hybrid encoder to expeditiously process multi-scale features by decoupling intra-scale interaction and cross-scale fusion to improve speed. Then, we propose the uncertainty-minimal query selection to provide high-quality initial queries to the decoder, thereby improving accuracy. In addition, RT-DETR supports flexible speed tuning by adjusting the number of decoder layers to adapt to various scenarios without retraining. Our RT-DETR-R50 / R101 achieves 53.1% / 54.3% AP on COCO and 108 / 74 FPS on T4 GPU, outperforming previously advanced YOLOs in both speed and accuracy. We also develop scaled RT-DETRs that outperform the lighter YOLO detectors (S and M models). Furthermore, RT-DETR-R50 outperforms DINO-R50 by 2.2% AP in accuracy and about 21 times in FPS. After pre-training with Objects365, RT-DETR-R50 / R101 achieves 55.3% / 56.2% AP. The project page: https://zhao-yian.github.io/RTDETR.

연구 동기 및 목표

• 실시간 객체 탐지를 위한 transformer 기반 DETR 탐지기와 YOLO-시리즈 탐지기의 비교를 촉진한다.
• 실시간 제약 하에서 DETR 접근법과 YOLO 접근법 간의 성능 차이를 조사한다.
• 실시간 탐지 작업에서 모델 선택을 안내하기 위한 실증적 근거를 제공한다.

제안 방법

• 실시간 제약 하에서 DETR 기반 탐지기와 YOLO-시리즈 모델을 비교하는 실험을 수행한다.
• 실시간 성능 평가를 위해 엔드 투 엔드 DETR 아키텍처를 기준선으로 활용한다.
• 맥락적 근거를 위해 DETR 및 YOLO에 관한 관련 선행 연구를 인용하고 비교한다.

실험 결과

연구 질문

• RQ1 실시간 객체 탐지 시나리오에서 DETR 기반 탐지기가 YOLO-시리즈 탐지기를 이길까?
• RQ2 실시간 요구사항하에서 DETR 방식의 강점과 한계가 YOLO 방식에 비해 어떻게 관찰되는가?
• RQ3 실용적 배치에서 엔드 투 엔드 DETR의 성능은 빠른 1단계 YOLO 변형과 어떻게 비교되는가?

주요 결과

• 저자들의 실험에 따르면 DETR 기반 탐지기가 실시간 객체 탐지에서 YOLO-시리즈 탐지기보다 우수하다.
• 발견 결과 DETR은 특정 환경에서 실시간 탐지 작업에 대해 경쟁력 있거나 우수한 선택지로 제시된다.
• 이 논문은 실용적 배치 맥락에서 DETR 대 YOLO 비교를 뒷받침하는 실증 평가를 제공한다.