[논문 리뷰] Real-time Multi-Class Helmet Violation Detection Using Few-Shot Data Sampling Technique and YOLOv8

Armstrong Aboah, Bin Wang외 2명|arXiv (Cornell University)|2023. 04. 13.

Traffic and Road Safety인용 수 15

한 줄 요약

본 논문은 YOLOv8을 활용한 새로운 few-shot 데이터 샘플링 전략을 사용한 실시간 헬멧 위반 탐지 시스템을 제시하고, AI City Challenge Track 5에서 경쟁력 있는 mAP와 실시간 추론을 달성합니다.

ABSTRACT

Traffic safety is a major global concern. Helmet usage is a key factor in preventing head injuries and fatalities caused by motorcycle accidents. However, helmet usage violations continue to be a significant problem. To identify such violations, automatic helmet detection systems have been proposed and implemented using computer vision techniques. Real-time implementation of such systems is crucial for traffic surveillance and enforcement, however, most of these systems are not real-time. This study proposes a robust real-time helmet violation detection system. The proposed system utilizes a unique data processing strategy, referred to as few-shot data sampling, to develop a robust model with fewer annotations, and a single-stage object detection model, YOLOv8 (You Only Look Once Version 8), for detecting helmet violations in real-time from video frames. Our proposed method won 7th place in the 2023 AI City Challenge, Track 5, with an mAP score of 0.5861 on experimental validation data. The experimental results demonstrate the effectiveness, efficiency, and robustness of the proposed system.

연구 동기 및 목표

• 다양한 기상 및 조명 조건에 대응하는 견고하고 실시간 헬멧 위반 탐지 시스템 개발의 동기를 부여한다.
• few-shot 데이터 샘플링 프레임워크를 도입하여 주석 작업 부담을 줄인다.
• 헬멧 위반 탐지를 위한 최적의 실시간 탐지기를 식별하기 위해 YOLO 패밀리 모델을 평가한다.

제안 방법

• 대표 프레임을 선택하고 주석을 줄이기 위해 few-shot 데이터 샘플링 기법을 도입한다.
• 가림과 시점 변화에 대한 강건성을 높이고 학습 다양성을 강화하기 위해 데이터 증강을 적용한다.
• 추론 정확도를 높이기 위해 테스트 시간 증강(TTA)을 사용한다.
• 이 작업에 대해 가장 성능이 좋은 단일 스테이지 탐지기를 식별하기 위해 YOLOv5, YOLOv7, YOLOv8를 비교한다.
• RTX 3090에서 400 에폭, 배치 크기 16, 이미지 크기 832x832로 모델을 학습한다.
• 배경 프레임과 음수 샘플을 통합하여 거짓 양성을 줄인다.

Figure 1 : Illustration of predictions of motorists, passengers, and motorcycles in real-time. We present a method that is able to predict helmet rule violation in real-time. The different bounding box colors represent different predictive class.

실험 결과

연구 질문

• RQ1 주석 요구를 줄이면서 탐지 성능을 유지하는 데 있어 few-shot 데이터 샘플링 접근 방식의 효과는 어느 정도인가?
• RQ2 실시간 헬멧 위반 탐지를 위해 정확도와 속도의 가장 좋은 균형을 제공하는 YOLO 단일 스테이지 탐지기는 무엇인가( v5/v7/v8 )?
• RQ3 테스트 시간 증강이 다양한 기상 및 조명 조건에서 탐지 성능을 향상시키는가?

주요 결과

• The YOLOv8+TTA model achieved the highest validation mAP.05-.95 of 0.647 on the validation set.

Figure 2 : Images from different time of day and weather. a) Daylight, b) Nighttime, and c)Foggy weather.