[논문 리뷰] Real-Time Helmet Violation Detection Using YOLOv5 and Ensemble Learning

Geoffery Agorku, Divine Agbobli외 5명|ArXiv.org|2023. 04. 14.

Traffic and Road Safety인용 수 5

한 줄 요약

이 논문은 YOLOv5와 앙상블 학습을 사용하여 실시간 헬멧 위반 감지 시스템을 제안하며, 오토바이 기사와 탑승자를 식별하고 헬멧 착용 여부를 분류한다. 100개의 영상으로 훈련하고 100개의 영상으로 테스트한 모델은 mAP 0.5267을 기록하여 AI City Track 5 랭킹에서 11위를 차지했으며, 다양한 조명 및 기상 조건에서도 뛰어난 성능을 보였다.

ABSTRACT

The proper enforcement of motorcycle helmet regulations is crucial for ensuring the safety of motorbike passengers and riders, as roadway cyclists and passengers are not likely to abide by these regulations if no proper enforcement systems are instituted. This paper presents the development and evaluation of a real-time YOLOv5 Deep Learning (DL) model for detecting riders and passengers on motorbikes, identifying whether the detected person is wearing a helmet. We trained the model on 100 videos recorded at 10 fps, each for 20 seconds. Our study demonstrated the applicability of DL models to accurately detect helmet regulation violators even in challenging lighting and weather conditions. We employed several data augmentation techniques in the study to ensure the training data is diverse enough to help build a robust model. The proposed model was tested on 100 test videos and produced an mAP score of 0.5267, ranking 11th on the AI City Track 5 public leaderboard. The use of deep learning techniques for image classification tasks, such as identifying helmet-wearing riders, has enormous potential for improving road safety. The study shows the potential of deep learning models for application in smart cities and enforcing traffic regulations and can be deployed in real-time for city-wide monitoring.

연구 동기 및 목표

• 실시간 딥러닝 시스템을 개발하여 오토바이 헬멧 착용 위반을 감지함으로써 도로 안전을 향상시키는 것.
• 오토바이 기사와 탑승자의 헬멧 착용 준수 여부를 모니터링하기 위한 실시간 자동화 시스템의 부족을 해결하는 것.
• 저조도 및 dense 안개와 같은 어려운 환경 조건에서도 모델의 강인성을 향상시키는 것.
• 데이터 증강과 앙상블 학습을 활용하여 탐지 정확도와 일반화 능력을 향상시키는 것.
• 자동화된 교통 안전 규정 이행을 가능하게 하여 스마트 시티 인프라에 기여하는 것.

제안 방법

• COCO 데이터셋으로 사전 훈련된 YOLOv5 모델을 사용하여 사전 애너테이션 파이프라인을 통해 훈련 데이터를 사전 처리하였다.
• 학습률, 이미지 크기, 옵티마이저, IoU 임계값 등 다양한 초모수를 가진 다섯 개의 별도 YOLOv5 모델을 훈련시켰다.
• 훈련 데이터의 다양성과 모델의 강인성을 향상시키기 위해 데이터 증강 기법을 적용하였다.
• 임의로 선택한 프레임에서 중앙값 프레임을 계산하여 배경 추정을 수행함으로써 이동 객체를 분리하였다.
• 다섯 개의 모델 예측을 평균 내어 최종 분류를 향상시키기 위해 앙상블 딥러닝 접근법을 사용하였다.
• 모델 평가에서는 모든 테스트 영상 프레임을 대상으로 평균 평균 정확도(mAP)를 계산하였으며, 랭킹 비교를 위한 표준화된 형식으로 결과를 제출하였다.

실험 결과

연구 질문

• RQ1 다양한 환경 조건에서 실시간으로 오토바이 기사와 탑승자의 헬멧 착용 여부를 정확하게 감지할 수 있는 YOLOv5 기반 딥러닝 모델은 가능한가?
• RQ2 다양한 YOLOv5 모델을 사용한 앙상블 학습은 단일 모델 추론에 비해 탐지 성능을 어떻게 향상시키는가?
• RQ3 데이터 증강 기법이 다양한 조도 및 기상 조건에서의 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 자동화된 시스템은 실생활 감시 영상에서 실시간 추론 능력을 유지하면서도 높은 mAP를 달성할 수 있는가?
• RQ5 제안된 프레임워크는 헬멧 분류가 정확한 한 대의 오토바이에 기사, 탑승자 1, 탑승자 2 등 다수의 승객을 감지하는 데 얼마나 효과적인가?

주요 결과

• 제안된 모델은 100개 영상으로 구성된 전체 테스트 데이터셋에서 mAP 점수 0.5267을 기록하여 AI City Track 5 공개 랭킹에서 11위를 차지했다.
• 야간, 안개 낀 날씨, 주간 조건을 포함한 다양한 조건에서 뛰어난 성능을 보였으며, 탐지 예시를 통해 이를 입증했다.
• 다양한 초모수를 가진 다섯 개의 YOLOv5 모델을 조합한 앙상블 접근법이 탐지 일관성과 정확도를 향상시켰다.
• 데이터 증강이 모델의 일반화 능력을 크게 향상시켜, 실제 세계 영상 데이터에서 신뢰할 수 있는 성능을 유지하는 데 기여했다.
• 시스템은 기사, 탑승자 1, 탑승자 2 등 총 일곱 종류의 객체 클래스를 모두 성공적으로 감지하고 분류하였으며, 대부분의 경우 높은 신뢰도를 보였다.
• 이 프레임워크는 도시 전역의 교통 모니터링에 실시간으로 구현 가능하며, 헬멧 착용 규정의 자동 이행을 지원한다.