[논문 리뷰] Driver Drowsiness Detection Model Using Convolutional Neural Networks Techniques for Android Application

Rateb Jabbar, Mohammed Shinoy외 4명|arXiv (Cornell University)|2020. 01. 17.

Sleep and Work-Related Fatigue참고 문헌 20인용 수 195

한 줄 요약

논문은 Android용 얼굴 랜드마크를 활용한 경량 CNN 기반 운전자 졸음 탐지 모델을 제안하며, 평균 정확도 83% 이상, 모델 크기는 75 KB 미만.

ABSTRACT

A sleepy driver is arguably much more dangerous on the road than the one who is speeding as he is a victim of microsleeps. Automotive researchers and manufacturers are trying to curb this problem with several technological solutions that will avert such a crisis. This article focuses on the detection of such micro sleep and drowsiness using neural network based methodologies. Our previous work in this field involved using machine learning with multi-layer perceptron to detect the same. In this paper, accuracy was increased by utilizing facial landmarks which are detected by the camera and that is passed to a Convolutional Neural Network (CNN) to classify drowsiness. The achievement with this work is the capability to provide a lightweight alternative to heavier classification models with more than 88% for the category without glasses, more than 85% for the category night without glasses. On average, more than 83% of accuracy was achieved in all categories. Moreover, as for model size, complexity and storage, there is a marked reduction in the new proposed model in comparison to the benchmark model where the maximum size is 75 KB. The proposed CNN based model can be used to build a real-time driver drowsiness detection system for embedded systems and Android devices with high accuracy and ease of use.

연구 동기 및 목표

• 실시간, 저자원 졸음 탐지의 필요성을 동기 부여하여 미시 수면을 예방한다.
• 변 Variation에 대한 강건성을 위해 얼굴 랜드마크를 활용하는 CNN 기반 접근 방식을 탐색한다.
• 중대한 하드웨어 없이 임베디드/Android 기기에 적합한 소형 모델을 개발한다.
• 기존 벤치마크와 비교하여 정확도, 모델 크기, 런타임 성능을 평가한다.

제안 방법

• 프레임 샘플링 및 데이터 증강을 통해 NTHU Driver Drowsiness Dataset를 600,000장의 이미지로 전처리한다.
• Dlib/OpenCV로 이미지당 68개의 얼굴 랜드마크를 검출하여 눈, 입술 등 중요한 얼굴 영역을 나타낸다.
• D2CNN-FLD를 제안한다: Leaky ReLU 활성화, 드롭아웃(≈25%), MaxPooling, 2-class 분류를 위한 Softmax 출력을 갖춘 다섯 층 CNN.
• 정규화된 랜드마크 좌표에 Min-Max 스케일링과 2-class 소프트맥스 출력을 사용해 모델을 학습한다.
• Android 파이프라인 구현: JNI가 자바 기반 앱에서 CNN으로의 실시간 추론을 위해 랜드마크 데이터를 전달한다.

실험 결과

연구 질문

• RQ1 얼굴 랜드마크 좌표를 사용하는 경량 CNN 모델이 NTHU 데이터셋에서 경쟁력 있는 졸음 탐지 정확도를 달성할 수 있는가?
• RQ2 제안된 D2CNN-FLD가 이전의 MLP 기반 및 더 무거운 CNN/RCNN 벤치마크와 정확도 및 자원 사용 면에서 어떻게 비교되는가?
• RQ3 조명 및 안경(안경/선글라스 포함)이 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 GPU 가속 없이 실시간으로 모바일/임베디드 기기에서 충분히 작동할 만큼 모델이 컴팩트한가?

주요 결과

• D2CNN-FLD가 운전 시나리오 전반에서 83.3%의 전체 정확도를 달성했다.
• 제안된 모델 크기는 0.075 MB (~75 KB)로 벤치마크 CNN/RCNN 모델보다 현저히 작다.
• D2CNN-FLD는 이전 D2MLP-FLD에 비해 총합 결과에서 약 2.5 퍼센트 포인트의 향상된 정확도를 보인다.
• 탐지 시간은 기기에 따라 다르며; 예를 들어 NVIDIA Quadro P4000에서 38.45 ms, Samsung Galaxy S8 Plus에서 142 ms는 D2CNN-FLD의 경우이다.