[論文レビュー] Real-time Multi-Class Helmet Violation Detection Using Few-Shot Data Sampling Technique and YOLOv8

Armstrong Aboah, Bin Wang+2 more|arXiv (Cornell University)|Apr 13, 2023

Traffic and Road Safety被引用数 15

ひとこと要約

この論文はYOLOv8を用いた新規のfew-shotデータサンプリング戦略を利用したリアルタイムのヘルメット違反検出システムを提案し、AI City Challenge Track 5で競争力のあるmAPとリアルタイム推論を実現。

ABSTRACT

Traffic safety is a major global concern. Helmet usage is a key factor in preventing head injuries and fatalities caused by motorcycle accidents. However, helmet usage violations continue to be a significant problem. To identify such violations, automatic helmet detection systems have been proposed and implemented using computer vision techniques. Real-time implementation of such systems is crucial for traffic surveillance and enforcement, however, most of these systems are not real-time. This study proposes a robust real-time helmet violation detection system. The proposed system utilizes a unique data processing strategy, referred to as few-shot data sampling, to develop a robust model with fewer annotations, and a single-stage object detection model, YOLOv8 (You Only Look Once Version 8), for detecting helmet violations in real-time from video frames. Our proposed method won 7th place in the 2023 AI City Challenge, Track 5, with an mAP score of 0.5861 on experimental validation data. The experimental results demonstrate the effectiveness, efficiency, and robustness of the proposed system.

研究の動機と目的

• 多様な天候と照明条件に対して堅牢なリアルタイムのヘルメット違反検出システムの開発を動機付ける。
• 注釈負担を減らすためにfew-shotデータサンプリングフレームワークを導入する。
• YOLOファミリーモデルを評価し、このタスクにおける最良のリアルタイム検出器を特定する。

提案手法

• 代表的なフレームを選択して注釈を削減するためのfew-shotデータサンプリング技術を導入する。
• トレーニングの多様性と閉塞・視点変化への頑健性を高めるためにデータ拡張を適用する。
• 推論精度を高めるためにテスト時拡張（TTA）を使用する。
• このタスクに対して最も性能の良い単段検出器を特定するためにYOLOv5、YOLOv7、YOLOv8を比較する。
• RTX 3090上で400エポック、バッチサイズ16、画像サイズ832x832でモデルを訓練する。
• 偽陽性を減らすために背景フレームとネガティブサンプルを組み込む。

Figure 1 : Illustration of predictions of motorists, passengers, and motorcycles in real-time. We present a method that is able to predict helmet rule violation in real-time. The different bounding box colors represent different predictive class.

実験結果

リサーチクエスチョン

• RQ1 few-shotデータサンプリングアプローチがアノテーション要件を削減しつつ検出性能を維持するのにどの程度効果的か？
• RQ2 リアルタイムのヘルメット違反検出のために最もバランスの取れた精度と速度を提供するYOLOの単段検出器（v5/v7/v8）はどれか？
• RQ3 テスト時拡張は多様な天候と照明条件の下で検出性能を向上させるか？

主な発見

Model	mAP.05	mAP.05-.95	Precision	Recall
yolov5	0.823	0.465	0.892	0.811
yolov7	0.846	0.526	0.912	0.854
yolov8	0.858	0.601	0.923	0.898
yolov5+TTA	0.911	0.613	0.931	0.907
yolov8+TTA	0.923	0.647	0.953	0.918

• YOLOv8+TTAモデルが検証用データセットのmAP.05-.95で最高を達成した。0.647。

Figure 2 : Images from different time of day and weather. a) Daylight, b) Nighttime, and c)Foggy weather.