[論文レビュー] ODverse33: Is the New YOLO Version Always Better? A Multi Domain benchmark from YOLO v5 to v11

Tianyou Jiang, Yang Zhong|ArXiv.org|Feb 20, 2025

Scientific Computing and Data Management被引用数 5

ひとこと要約

論文はクロスバージョン、マルチドメインのベンチマーク（ODverse33）をまとめ、YOLOv5からYOLOv11を比較して、新しいバージョンが異なるドメインで一貫して predecessors を上回るかを評価します。

ABSTRACT

You Look Only Once (YOLO) models have been widely used for building real-time object detectors across various domains. With the increasing frequency of new YOLO versions being released, key questions arise. Are the newer versions always better than their previous versions? What are the core innovations in each YOLO version and how do these changes translate into real-world performance gains? In this paper, we summarize the key innovations from YOLOv1 to YOLOv11, introduce a comprehensive benchmark called ODverse33, which includes 33 datasets spanning 11 diverse domains (Autonomous driving, Agricultural, Underwater, Medical, Videogame, Industrial, Aerial, Wildlife, Retail, Microscopic, and Security), and explore the practical impact of model improvements in real-world, multi-domain applications through extensive experimental results. We hope this study can provide some guidance to the extensive users of object detection models and give some references for future real-time object detector development.

研究の動機と目的

• 新しい YOLO バージョンが多様な実世界ドメインにおいて一貫して古いバージョンを上回るかという問題を動機づける。
• ODverse33 を v5 から v11 までの YOLO モデルの包括的でマルチドメインなベンチマークとして導入する。
• YOLO の革新の実践的な性能向上を分析するための実験フレームワークとデータセットを提供する。
• リアルタイム物体検出タスクのための YOLO バージョン選択に関する研究者と実務者への指針を提供する。

提案手法

• YOLOv1 から YOLOv11 までに導入された重要な革新をレビューし要約する。
• 11 ドメインにまたがる 33 データセットを用いた ODverse33 というベンチマークを構築する。
• YOLO の改善が実世界へ与える影響を理解するために、モデル対ドメインの性能を評価する。
• 複数のドメインにわたって YOLO v5 から v11 を比較する大規模な実験を実施する。
• リアルタイムシステムにおける検出効果へのアーキテクチャ変更の実践的影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 新しい YOLO バージョンは多様なドメインで一貫して古いものを上回るか？
• RQ2 各 YOLO バージョンのコア革新は実世界の利得やトレードオフにどのように翻訳されるか？
• RQ3 自動運転、農業、水中、医療、その他のドメインで YOLO の性能はどのように変化するか？
• RQ4 マルチドメインのリアルタイムアプリケーションで YOLO バージョンを選択する際にどのような指針が提供できるか？

主な発見

• 新しい YOLO バージョンはすべてのドメインで古いバージョンを普遍的に支配するわけではない。
• 33 データセットのマルチドメインベンチマークは、ドメイン依存の性能向上とトレードオフを明らかにする。
• 新しいバージョンの革新は、ドメインの特徴とデータセットの具体的な条件によって異なる改善を生み出す。
• ODverse33 は単一データセットのベンチマークを超えて YOLO バージョンを比較する構造化されたフレームワークを提供する。
• 本研究は異種環境でのリアルタイム検出器の展開に関する実践的洞察を提供する。