[논문 리뷰] Benchmarking YOLOv5 and YOLOv7 models with DeepSORT for droplet tracking applications

Mihir Durve, Sibilla Orsini외 7명|arXiv (Cornell University)|2023. 01. 19.

Innovative Microfluidic and Catalytic Techniques Innovation인용 수 6

한 줄 요약

이 연구는 실시간 마이크로플루이딕 영상에서 방울 추적을 위해 YOLOv5와 YOLOv7 객체 검출기와 DeepSORT를 조합하여 벤치마크를 수행한다. YOLOv7의 경우 10% 빠른 추론 속도를 기록했지만, DeepSORT의 높은 계산 부담으로 인해 실시간 추적(≥30 fps)은 가벼운 YOLO 모델에서만 달성 가능했으며, 특히 GPU 및 CPU 구성에서 무거운 모델을 사용할 경우 더욱 두드러진다.

ABSTRACT

Tracking droplets in microfluidics is a challenging task. The difficulty arises in choosing a tool to analyze general microfluidic videos to infer physical quantities. The state-of-the-art object detector algorithm You Only Look Once (YOLO) and the object tracking algorithm Simple Online and Realtime Tracking with a Deep Association Metric (DeepSORT) are customizable for droplet identification and tracking. The customization includes training YOLO and DeepSORT networks to identify and track the objects of interest. We trained several YOLOv5 and YOLOv7 models and the DeepSORT network for droplet identification and tracking from microfluidic experimental videos. We compare the performance of the droplet tracking applications with YOLOv5 and YOLOv7 in terms of training time and time to analyze a given video across various hardware configurations. Despite the latest YOLOv7 being 10% faster, the real-time tracking is only achieved by lighter YOLO models on RTX 3070 Ti GPU machine due to additional significant droplet tracking costs arising from the DeepSORT algorithm. This work is a benchmark study for the YOLOv5 and YOLOv7 networks with DeepSORT in terms of the training time and inference time for a custom dataset of microfluidic droplets.

연구 동기 및 목표

• 마이크로플루이딕 영상에서 YOLOv5 및 YOLOv7 모델이 DeepSORT와 함께 방울 추적에 어떻게 성능을 내는지 평가하기 위해.
• 다양한 YOLO 모델 변종과 하드웨어 설정 간 훈련 시간, 추론 속도, 실시간 추적 능력을 비교하기 위해.
• 정확도와 계산 비용을 균형 잡고 실시간 방울 추적(≥30 fps)을 달성하는 최적의 모델 및 하드웨어 구성 식별하기 위해.
• 연구자들이 방울 추적 응용 분야에서 YOLO 기반 파ip라인을 선택할 수 있도록 종합적인 벤치마크 제공하기 위해.

제안 방법

• 동일한 하이퍼파rameter와 하드웨어(NVIDIA V100 GPU)를 사용하여 커스텀 마이크로플루이딕 방울 데이터셋에서 YOLOv5 및 YOLOv7 모델을 훈련시켰다.
• 다중 객체 추적을 위해 DeepSORT를 적용하였으며, 프레임 간 검출 결과를 연결하기 위해 딥 어노테이션 메트릭스를 사용하였다.
• IoU 임계값 0.5에서 0.95 사이에서 평균 정밀도(마이크로 평균 정밀도, mAP)를 사용하여 성능을 평가하였다.
• 모든 모델 변종에 대해 CPU 및 GPU(RTX 3070 Ti)에서 프레임당 추론 시간을 측정하였으며, YOLO 및 DeepSORT 구성 요소의 별도 시간도 기록하였다.
• 여러 가지 YOLO 변종에 대한 벤치마크 수행: YOLOv5s, m, l, x, s6, m6, l6, x6, YOLOv7-tiny, x, base, w6, e6, d6, e6e.
• 모델 크기의 영향을 고려하여 검출 정확도(mAP)와 추론 속도 간의 상호 상충 관계 분석을 수행하였으며, 특히 DeepSORT 추적 지연에 미치는 영향을 중심으로 분석하였다.

Figure 1 : Schematic representation of the microfluidic device used for the droplet generation.

실험 결과

연구 질문

• RQ1 커스텀 마이크로플루이딕 데이터셋에서 YOLOv5 및 YOLOv7 모델의 훈련 시간과 mAP 정확도는 어떻게 비교되는가?
• RQ2 다양한 하드웨어 구성(CPU 및 GPU)에서 YOLOv5 및 YOLOv7 모델이 DeepSORT와 함께 결합된 추론 속도는 어떠한가?
• RQ3 어떤 모델 구성이 테스트된 하드웨어에서 실시간 방울 추적(≥30 fps)을 달성하는가?
• RQ4 특히 무거운 모델에서 YOLO 추론 시간에 비해 DeepSORT의 계산 비용은 어떻게 비교되는가?
• RQ5 YOLO 모델 변종을 선택할 때 검출 정확도와 실시간 성능 간의 상충 관계는 어떠한가?

주요 결과

• YOLOv7 모델은 동일한 하드웨어(RTX 3070 Ti GPU)에서 YOLOv5 대비 약 10% 더 빠른 추론 속도를 기록하였다.
• 더 빠른 YOLO 추론에도 불구하고, 실시간 추적(≥30 fps)은 무거운 모델에서 DeepSORT 추적 오버헤드가 크기 때문에 가벼운 YOLO 모델(예: YOLOv5s, YOLOv7-tiny)에서만 달성되었다.
• GPU 환경에서 YOLOv5s와 YOLOv7-tiny는 각각 34.27 fps와 34.48 fps를 기록하여 실시간 요구 조건을 충족시켰다.
• YOLOv5x6 및 YOLOv7-d6와 같은 무거운 모델은 12 fps 이하의 추론 속도를 기록하여 실시간 성능을 달성하지 못했다.
• YOLOv5 및 YOLOv7 모두 20 에포크 이후 mAP 값이 1에 포화 상태에 도달하였으며, IoU 임계값 범위 내에서 평균 mAP에 유의미한 차이가 없었다.
• DeepSORT는 일관되게 추적 시간(~0.015–0.03 초/프레임)을 기여하였으며, 이는 CPU 및 GPU 환경에서 무거운 YOLO 모델의 경우 핵심 성능 저하 요인로 작용하였다.

Figure 2 : Example from custom training dataset to train YOLOv5 and YOLOv7 object detector models. Each object is manually placed in a rectangle (called the bounding box) and the dimensions of the rectangle are noted in an associated label file.