[論文レビュー] Benchmarking YOLOv5 and YOLOv7 models with DeepSORT for droplet tracking applications

Mihir Durve, Sibilla Orsini+7 more|arXiv (Cornell University)|Jan 19, 2023

Innovative Microfluidic and Catalytic Techniques Innovation被引用数 6

ひとこと要約

本研究では、マイクロフルイディクス動画におけるリアルタイムドロプレット追跡を目的として、YOLOv5およびYOLOv7オブジェクト検出器とDeepSORTを組み合わせたベンチマークを実施した。YOLOv7は10%高速な推論を達成したが、特にGPUおよびCPU環境における重いモデルの場合、DeepSORTによる高い計算オーバーヘッドのため、リアルタイム追跡（≥30 fps）は軽量YOLOモデルでのみ達成可能であった。

ABSTRACT

Tracking droplets in microfluidics is a challenging task. The difficulty arises in choosing a tool to analyze general microfluidic videos to infer physical quantities. The state-of-the-art object detector algorithm You Only Look Once (YOLO) and the object tracking algorithm Simple Online and Realtime Tracking with a Deep Association Metric (DeepSORT) are customizable for droplet identification and tracking. The customization includes training YOLO and DeepSORT networks to identify and track the objects of interest. We trained several YOLOv5 and YOLOv7 models and the DeepSORT network for droplet identification and tracking from microfluidic experimental videos. We compare the performance of the droplet tracking applications with YOLOv5 and YOLOv7 in terms of training time and time to analyze a given video across various hardware configurations. Despite the latest YOLOv7 being 10% faster, the real-time tracking is only achieved by lighter YOLO models on RTX 3070 Ti GPU machine due to additional significant droplet tracking costs arising from the DeepSORT algorithm. This work is a benchmark study for the YOLOv5 and YOLOv7 networks with DeepSORT in terms of the training time and inference time for a custom dataset of microfluidic droplets.

研究の動機と目的

• マイクロフルイディクス動画におけるドロプレット追跡のため、YOLOv5およびYOLOv7モデルとDeepSORTを組み合わせたパフォーマンスを評価すること。
• さまざまなYOLOモデルバリアントおよびハードウェア設定におけるトレーニング時間、推論速度、リアルタイム追跡能力を比較すること。
• 精度と計算コストのバランスを考慮して、リアルタイムドロプレット追跡（≥30 fps）を達成する最適なモデルおよびハードウェア構成を同定すること。
• 研究者がドロプレット追跡用途にYOLOベースのパイプラインを選定する際の包括的ベンチマークを提供すること。

提案手法

• 同じハイパーパramータとハードウェア（NVIDIA V100 GPU）を用いて、カスタムマイクロフルイディクスドロプレットデータセット上でYOLOv5およびYOLOv7モデルをトレーニングした。
• 複数対象追跡のためDeepSORTを適用し、フレーム間の検出を深層的関連メトリクスで連結した。
• IoU閾値0.5から0.95の範囲で平均平均精度（mAP）を用いてパフォーマンスを評価した。
• すべてのモデルバリアントについて、CPUおよびGPU（RTX 3070 Ti）における1フレームあたりの推論時間を測定し、YOLOおよびDeepSORTの各コンponentの時間も別々に計測した。
• 複数のYOLOバリアント（YOLOv5s, m, l, x, s6, m6, l6, x6, および YOLOv7-tiny, x, base, w6, e6, d6, e6e）を用いてベンチマークを実施した。
• 特にモデルサイズがDeepSORT追跡遅延に与える影響に注目し、検出精度（mAP）と推論速度のトレードオフを分析した。

Figure 1 : Schematic representation of the microfluidic device used for the droplet generation.

実験結果

リサーチクエスチョン

• RQ1 カスタムマイクロフルイディクスデータセット上でのドロプレット検出において、YOLOv5およびYOLOv7モデルのトレーニング時間とmAP精度はどのように比較されるか？
• RQ2 CPUおよびGPUのさまざまなハードウェア設定下で、YOLOv5およびYOLOv7モデルにDeepSORTを組み合わせた推論速度はどのようになるか？
• RQ3 どのモデル構成がテストしたハードウェア上でリアルタイムドロプレット追跡（≥30 fps）を達成するか？
• RQ4 重いモデルにおいて、YOLO推論時間と比較してDeepSORTの計算コストはどの程度か？
• RQ5 YOLOモデルバリアントを選択する際の検出精度とリアルタイムパフォーマンスのトレードオフはどのように変化するか？

主な発見

• 同じハードウェア（RTX 3070 Ti GPU）上では、YOLOv7モデルがYOLOv5の対応モデルと比較して約10%高速な推論を達成した。
• 高速なYOLO推論であったが、リアルタイム追跡（≥30 fps）は重いYOLOモデルの場合は達成できず、DeepSORTの高いオーバーヘッドが原因であった。
• GPU環境では、YOLOv5sとYOLOv7-tinyがそれぞれ34.27 fpsおよび34.48 fpsを達成し、リアルタイム要件を満たした。
• 重いモデル（例：YOLOv5x6およびYOLOv7-d6）はリアルタイム性能を達成できず、推論レートは12 fps未満であった。
• YOLOv5およびYOLOv7の両方で、mAP値は20エポック以降に1に飽和し、IoU閾値の範囲で平均mAPに顕著な差は認められなかった。
• DeepSORTは一貫して追跡時間に寄与しており（1フレームあたり約0.015–0.03秒）、特にCPUおよびGPU環境の重いYOLOモデルではボトルネックとなった。

Figure 2 : Example from custom training dataset to train YOLOv5 and YOLOv7 object detector models. Each object is manually placed in a rectangle (called the bounding box) and the dimensions of the rectangle are noted in an associated label file.