[論文レビュー] Comparison of Object Detection Algorithms for Street-level Objects

Martinus Grady Naftali, Jason Sebastian Sulistyawan+1 more|arXiv (Cornell University)|Aug 24, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本研究では、修正済みの Udacity 自動運転車データセットを用いて、スクリーンレベルの物体検出タスクにおける5つのワンステージ物体検出アルゴリズム—SSD MobileNetv2 FPN-lite、YOLOv3、YOLOv4、YOLOv5l、YOLOv5s—の性能を評価した。YOLOv5lが最高の精度（mAP@.5: 0.593）を達成した一方、SSD MobileNetv2 FPN-liteは最も高速（推論時間3.20ms）であり、YOLOv5sは自動運転車のようなリアルタイム応用において、速度と精度の最良のバランスを提供した。

ABSTRACT

Object detection for street-level objects can be applied to various use cases, from car and traffic detection to the self-driving car system. Therefore, finding the best object detection algorithm is essential to apply it effectively. Many object detection algorithms have been released, and many have compared object detection algorithms, but few have compared the latest algorithms, such as YOLOv5, primarily which focus on street-level objects. This paper compares various one-stage detector algorithms; SSD MobileNetv2 FPN-lite 320x320, YOLOv3, YOLOv4, YOLOv5l, and YOLOv5s for street-level object detection within real-time images. The experiment utilizes a modified Udacity Self Driving Car Dataset with 3,169 images. Dataset is split into train, validation, and test; Then, it is preprocessed and augmented using rescaling, hue shifting, and noise. Each algorithm is then trained and evaluated. Based on the experiments, the algorithms have produced decent results according to the inference time and the values of their precision, recall, F1-Score, and Mean Average Precision (mAP). The results also shows that YOLOv5l outperforms the other algorithms in terms of accuracy with a mAP@.5 of 0.593, MobileNetv2 FPN-lite has the fastest inference time among the others with only 3.20ms inference time. It is also found that YOLOv5s is the most efficient, with it having a YOLOv5l accuracy and a speed almost as quick as the MobileNetv2 FPN-lite. This shows that various algorithm are suitable for street-level object detection and viable enough to be used in self-driving car.

研究の動機と目的

• 現代のワンステージ物体検出アルゴリズムのスクリーンレベル物体検出タスクにおける性能を評価すること。
• YOLOv3、YOLOv4、YOLOv5l、YOLOv5s、SSD MobileNetv2 FPN-liteの間で、推論速度、精度、再現率、F1スコア、mAPを比較すること。
• 自動運転車のようなリアルタイム応用に最も適したアルゴリズムを特定すること。
• データ拡張（リスケーリング、トーンシフト、ノイズ注入）がモデルの汎化性能および耐障害性に与える影響を評価すること。
• 実世界のドライブデータセット上で、最新の YOLOv5 バリエーションと従来モデルを比較するための実証的ベンチマークを提供すること。

提案手法

• 3,169枚の画像を含む、修正済みの Udacity Self-Driving Car データセット上で、5つのワンステージ検出器（SSD MobileNetv2 FPN-lite、YOLOv3、YOLOv4、YOLOv5l、YOLOv5s）を訓練および評価した。
• 標準的な70/15/15の分割法を用いて、訓練用、検証用、テスト用データセットに分割した。
• モデルの汎化性能を向上させるために、画像リスケーリング、トーンシフト、ノイズ注入といったデータ拡張技術を適用した。
• 8th Gen Intel i5-8600K CPU、GTX 1050 Ti GPU、16GB RAMを搭載したシステム上で、精度、再現率、F1スコア、mAP@.5、mAP@.5:95、および推論時間を測定した。
• mAPの計算には、交差領域割合（IoU）の閾値0.5および0.5–0.95を用い、mAP@.5:95は複数のIoU閾値における平均精度を表す。
• 標準的な物体検出指標を用いてモデルを評価した：精度 = TP / (TP + FP)、再現率 = TP / (TP + FN)、F1スコア = 2 × (精度 × 再現率) / (精度 + 再現率)。

実験結果

リサーチクエスチョン

• RQ1 修正済みの Udacity データセット上で、スクリーンレベルの物体検出タスクにおいて、どのワンステージ物体検出アルゴリズムが最高のmAPを達成するか？
• RQ2 どのアルゴリズムが自動運転車のリアルタイム配備に適した最速の推論時間を提供するか？
• RQ3 YOLOv5l および YOLOv5s といった最新の YOLOv5 モデルは、同じベンチマーク上で YOLOv3 や YOLOv4 よりも精度と速度の面でどのように差をつけるか？
• RQ4 データ拡張は、異なるモデルにおいて、検出性能をどの程度向上させるか？
• RQ5 YOLOv5s は、精度と速度の間で良好なトレードオフを達成できるか。その結果、自動運転アプリケーションに最適な選択肢となるか？

主な発見

• YOLOv5l は mAP@.5 が 0.593 と、他のすべてのモデルを上回る最高の精度を達成した。
• SSD MobileNetv2 FPN-lite は 3.20ms の推論時間で最も速く、リアルタイム推論において最も効率的であった。
• YOLOv5s は mAP@.5 が 0.530 であり、YOLOv5l の 0.593 よりもわずかに11%低いが、推論時間は 8.50ms と高速を維持していた。
• YOLOv4 は F1スコア、精度、mAPの観点で YOLOv5l や YOLOv3 よりも劣り、推論時間も最長の 27.90ms を記録した。
• YOLOv5s は精度と速度の両面で優れたバランスを示し、自動運転車のリアルタイムアプリケーションに最も適したモデルであった。
• SSD MobileNetv2 FPN-lite は mAP@.5 が 0.315 と最低であり、高速性の優位性にもかかわらず、検出精度が低いことが示された。