[논문 리뷰] Detection of Distracted Driver using Convolution Neural Network

Narayana Darapaneni, Jai Arora외 5명|arXiv (Cornell University)|2022. 04. 07.

Human-Automation Interaction and Safety인용 수 9

한 줄 요약

이 논문은 모바일 사용, 식사, 화장 등과 같은 분산 행동을 분류하기 위해 운전 행동 데이터로 훈련된 컨볼루션 신경망(CNN), VGG-16, ResNet50 및 앙상블 모델을 사용한 실시간 분산 운전자 감지 시스템을 제안한다. 연구는 높은 정확도와 효율성을 입증하였으며, 앙상블 모델은 테스트 정확도 96.8%를 기록했고, 엣지 장치에의 배포 가능성이 높다.

ABSTRACT

With over 50 million car sales annually and over 1.3 million deaths every year due to motor accidents we have chosen this space. India accounts for 11 per cent of global death in road accidents. Drivers are held responsible for 78% of accidents. Road safety problems in developing countries is a major concern and human behavior is ascribed as one of the main causes and accelerators of road safety problems. Driver distraction has been identified as the main reason for accidents. Distractions can be caused due to reasons such as mobile usage, drinking, operating instruments, facial makeup, social interaction. For the scope of this project, we will focus on building a highly efficient ML model to classify different driver distractions at runtime using computer vision. We would also analyze the overall speed and scalability of the model in order to be able to set it up on an edge device. We use CNN, VGG-16, RestNet50 and ensemble of CNN to predict the classes.

연구 동기 및 목표

• 컴퓨터 시각과 딥 러닝을 활용해 실시간으로 정확한 운전 분산 감지 시스템을 개발하는 것.
• 다양한 CNN 아키텍처—CNN, VGG-16, ResNet50—의 성능 및 확장성에 대한 평가를 수행하는 것.
• 개별 모델을 초월해 분류 정확도를 향상시키는 앙상블 모델을 설계하는 것.
• 실생활 운전 환경에서 엣지 장치에의 배포 가능성을 고려한 모델 효율성 분석을 수행하는 것.
• 특히 인도를 포함한 개발도상국에서 높은 사망률을 보이는 도로 사고의 주요 원인이 분산 운전임을 감안해 이를 해결하고자 하는 것.

제안 방법

• 저자들은 사전 훈련된 VGG-16 및 ResNet50 모델을 사용한 전이 학습 기반의 CNN 접근법을 활용하며, 운전 분산 데이터셋에 대해 미세 조정을 수행한다.
• 개별 CNN, VGG-16 및 ResNet50 모델의 예측을 조합하여 분류 정확도를 향상시키는 앙상블 모델을 구성한다.
• 데이터셋은 모바일 사용, 식사, 음료 섭취, 화장 등의 다양한 분산 행동을 보이는 운전자의 이미지로 구성되어 있다.
• 표준 딥 러닝 최적화 기법을 사용해 모델 훈련을 수행하며, 테스트 정확도와 추론 속도를 평가한다.
• 런타임 효율성과 확장성에 대한 평가를 통해 엣지 배포의 실현 가능성 여부를 분석한다.
• 기본 모델과의 비교를 통해 앙상블 학습의 성능 향상 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 실시간 영상 입력으로부터 다양한 유형의 운전 분산 행동을 효과적으로 분류할 수 있는 CNN 기반 모델이 가능한가?
• RQ2 운전 분산 감지에 적용했을 때 VGG-16과 ResNet50의 성능 및 추론 속도는 어떻게 비교되는가?
• RQ3 CNN 모델의 앙상블 방식이 개별 모델보다 분류 정확도를 얼마나 향상시키는가?
• RQ4 제안된 모델는 저전력 엣지 장치에 실시간 모니터링을 위해 배포하기에 충분히 효율적인가?
• RQ5 고도로 발전하지 않은 국가에서 높은 도로 사고 빈도를 감안할 때, 이 시스템은 실시간으로 현장에서의 배포를 지원할 수 있는가?

주요 결과

• 앙상블 모델은 96.8%의 최고 테스트 정확도를 기록하여 개별 모델을 모두 초월했다.
• VGG-16 및 ResNet50 모델은 각각 95% 이상의 테스트 정확도를 보이며 뛰어난 성능을 보였다.
• 앙상블 접근법은 다양한 분산 유형에 걸쳐 분류 오차를 감소시키고 정확도를 향상시켰다.
• 모델들은 충분한 추론 속도와 낮은 계산 오버헤드를 보이며, 엣지 배포 가능성을 시사했다.
• 모델는 높은 정밀도로 모바일 사용, 식사, 화장과 같은 일반적인 분산 행동을 효과적으로 감지하였다.
• 딥 러닝 모델이 자원 제약 환경에서도 실시간으로 현장에서 운전자 모니터링을 수행할 수 있음을 확인하였다.