[논문 리뷰] Comparative Analysis of YOLOv9, YOLOv10 and RT-DETR for Real-Time Weed Detection

Ahmet Oğuz Saltık, Alicia Allmendinger외 1명|arXiv (Cornell University)|2024. 12. 18.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 연구는 스마트 스프레이잉 응용 분야에서 실시간 잡초 탐지에 대해 YOLOv9, YOLOv10 및 RT-DETR를 평가하며, RTX3080, RTX3090 및 RTX4090 GPU에서 다양한 모델 크기와 이미지 해상도(320–960px)에 따라 mAP와 추론 시간을 비교한다. YOLOv9와 YOLOv10는 정확도와 속도 사이의 최적의 균형을 달성한다. 반면 RT-DETR(l)는 상당히 긴 추론 시간을 감수하면서도 높은 mAP를 제공하며, 특히 해상도가 높아질수록 그 경향이 두드러진다.

ABSTRACT

This paper presents a comprehensive evaluation of state-of-the-art object detection models, including YOLOv9, YOLOv10, and RT-DETR, for the task of weed detection in smart-spraying applications focusing on three classes: Sugarbeet, Monocot, and Dicot. The performance of these models is compared based on mean Average Precision (mAP) scores and inference times on different GPU and CPU devices. We consider various model variations, such as nano, small, medium, large alongside different image resolutions (320px, 480px, 640px, 800px, 960px). The results highlight the trade-offs between inference time and detection accuracy, providing valuable insights for selecting the most suitable model for real-time weed detection. This study aims to guide the development of efficient and effective smart spraying systems, enhancing agricultural productivity through precise weed management.

연구 동기 및 목표

• 스마트 스프레이잉 응용 분야에서 YOLOv9, YOLOv10 및 RT-DETR의 실시간 잡초 탐지 성능을 평가하기 위해.
• 다양한 모델 아키텍처와 크기에서 탐지 정확도(mAP)와 추론 속도 사이의 상호 상충 관계를 분석하기 위해.
• 입력 이미지 해상도(320px에서 960px)가 모델 정확도와 추론 시간에 미치는 영향을 평가하기 위해.
• 하드웨어 제약 조건과 성능 지표를 바탕으로 실시간 农업 응용 분야에 가장 적합한 모델을 규명하기 위해.
• 다양한 하드웨어와 해상도 설정에서의 실증적 벤치마크를 제공하여 정밀 농업에서 객체 탐지 모델 선택을 안내하기 위해.

제안 방법

• 연구는 YOLOv9와 YOLOv10의 나노, 스몰, 미디엄, 라지 버전을 평가하며, RT-DETR(l)는 이중 단계의 트랜스포머 기반 탐지기로 분류된다.
• 모델 성능 평가를 위해 320px, 480px, 640px, 800px 및 960px의 다양한 이미지 해상도를 사용하여 해상도 의존적 성능을 분석한다.
• 정확도 지표로는 mAP50 및 mAP50-95를 사용하며, 추론 시간은 RTX3080 랩탑, RTX3090 및 RTX4090 세 대의 GPU 기기에서 기록한다.
• 평가 데이터셋은 당근, 단일잎식물, 다년생식물의 세 가지 잡초 종류를 포함하며, 실제 스마트 스프레이잉 시나리오를 대변한다.
• 각 모델 아키텍처의 계산적 병목 현상을 이해하기 위해 시간 분포 분석을 수행한다.
• 비교적 시각화 및 통계 분석을 통해 다양한 구성에서 탐지 품질과 모델의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 이미지 해상도에서 YOLOv9, YOLOv10 및 RT-DETR(l)의 mAP50 및 mAP50-95는 어떻게 비교되는가?
• RQ2 각 모델이 다양한 GPU 기기에서 추론 시간과 탐지 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ3 이미지 해상도가 증가할수록 각 모델의 mAP와 추론 시간은 어떻게 변화하는가?
• RQ4 실시간 농업 환경에서의 잡초 탐지에 있어 속도와 정확도 사이의 최적 균형을 제공하는 모델은 무엇인가?
• RQ5 정확도가 급격히 감소하는 해상도 임계점은 언제이며, 각 모델 버전은 이 임계점에 어떻게 반응하는가?

주요 결과

• 더 큰 이미지 해상도(예: 960px)는 모든 모델에서 일관되게 mAP 점수를 향상시키며, 특히 RT-DETR(l)는 960px에서 가장 뚜렷한 성과를 보였다(모델별 mAP50: 68.1, mAP50-95: 87.2).
• YOLOv9(c)와 YOLOv10(l)는 RTX3080에서 30ms 이내의 추론 시간을 기록하며 높은 mAP 값을 확보하여 실시간 적용에 매우 적합함을 보였다.
• RT-DETR(l)는 960px 해상도에서 최고의 mAP50-95 점수(87.2)를 기록했지만, RTX3080에서 가장 긴 추론 시간(34.7ms)을 기록하여 높은 계산 비용을 유발함을 시사한다.
• 640px와 960px 사이의 정확도 격차는 미미하지만, 640px 이하로 떨어지면 정확도가 급격히 감소하며, 특히 RT-DETR(l)에서 이 현상이 두드러진다.
• YOLOv9와 YOLOv10는 다양한 이미지 크기와 GPU에서 안정적인 성능을 유지하며, mAP와 추론 시간의 변동이 미미하여 강건성을 입증했다.
• 시간 분포 분석 결과, RT-DETR(l)는 어텐션 메커니즘과 특징 처리에 더 많은 시간을 소비하며, 이는 단일 단계 YOLO 모델 대비 느린 추론 속도의 주요 원인임을 밝혔다.