[논문 리뷰] Driver Drowsiness Detection Using Ensemble Convolutional Neural Networks on YawDD

Rais Mohammad Salman, Muhammad Mahbubur Rashid외 3명|arXiv (Cornell University)|2021. 12. 20.

Sleep and Work-Related Fatigue인용 수 10

한 줄 요약

이 논문은 YawDD 데이터셋을 사용하여 운전사의 졸림 상태를 탐지하기 위해 앙상블 컨volution 신경망(ECNN)을 제안한다. 다양한 CNN 아키텍처를 조합하여 분류 성능을 향상시킨다. ECNN는 졸린 상태에서 F1 스코어 0.935, 각성 상태에서 0.978를 기록하여 개별 CNN 모델을 능가하며, 실시간 졸림 탐지 시스템의 정확성과 견고성을 향상시키는 앙상블 학습의 효과를 입증한다.

ABSTRACT

Driver drowsiness detection using videos/images is one of the most essential areas in today's time for driver safety. The development of deep learning techniques, notably Convolutional Neural Networks (CNN), applied in computer vision applications such as drowsiness detection, has shown promising results due to the tremendous increase in technology in the recent few decades. Eyes that are closed or blinking excessively, yawning, nodding, and occlusion are all key aspects of drowsiness. In this work, we have applied four different Convolutional Neural Network (CNN) techniques on the YawDD dataset to detect and examine the extent of drowsiness depending on the yawning frequency with specific pose and occlusion variation. Preliminary computational results show that our proposed Ensemble Convolutional Neural Network (ECNN) outperformed the traditional CNN-based approach by achieving an F1 score of 0.935, whereas the other three CNN, such as CNN1, CNN2, and CNN3 approaches gained 0.92, 0.90, and 0.912 F1 scores, respectively.

연구 동기 및 목표

• 딥 러닝을 활용하여 영상 기반의 신뢰할 수 있는 운전사 졸림 상태 탐지 시스템을 개발하여 도로 안전을 향상시키는 것.
• YawDD 데이터셋에서 졸린 상태와 각성 상태를 분류하기 위해 다수의 개별 CNN 모델(CNN1, CNN2, CNN3)의 성능을 평가하는 것.
• 다양한 CNN들의 예측을 융합하여 분류 정확도와 일반화 능력을 향상시키는 앙상블 CNN(ECNN) 모델을 설계하고 구현하는 것.
• 졸린 상태와 각성 상태 모두에서 정밀도, 재현도, F1 스코어 측면에서 앙상블 방법과 개별 CNN 모델을 비교하는 것.
• 기존 접근법의 한계를 규명하고 향후 연구 방향을 제안하는 것 — 다중 데이터셋 평가 및 실생활 적용을 포함한다.

제안 방법

• Adam 및 모멘텀이 있는 SGD와 같은 다양한 최적화 설정, 배치 크기 및 학습률를 사용하여 YawDD 데이터셋에서 네 가지 서로 다른 CNN 아키텍처(CNN1, CNN2, CNN3)를 학습시켰다.
• 예측 결과를 가중 평균 전략을 사용하여 융합함으로써 전체 분류 성능를 향상시키는 앙상블 모델을 구성하였다.
• 각 CNN 모델은 특정 반복 횟수와 배치 크기를 사용하여 4 에포크 동안 학습되었으며, 사전 학습된 아키텍처를 변형하여 졸림 상태 탐지에 적합하도록 전이 학습 원칙을 적용하였다.
• 표준 평가 지표인 정밀도, 재현도, F1 스코어를 사용하여 테스트, 훈련, 검증 세트에서 모델 평가를 수행하였으며, 성능 분석을 위해 혼동 행렬을 시각화하였다.
• 앙상블 방법은 개별 네트워크의 클래스 확률을 투표 또는 평균화하여 최종 예측을 도출함으로써 분산을 줄이고 견고성을 향상시켰다.
• 초기 학습률(0.001), 배치 크기(32 또는 64), 최적화기(Adam 또는 모멘텀이 있는 SGD)와 같은 하이퍼파라미터를 조정하여 모델 수렴 및 성능 최적화를 달성하였다.

실험 결과

연구 질문

• RQ1 개별 CNN 모델(CNN1, CNN2, CNN3)은 YawDD 데이터셋에서 졸린 상태와 각성 상태를 어떻게 분류하는가?
• RQ2 여러 개의 CNN 모델을 앙상블하면 개별 모델 대비 F1 스코어와 전체 분류 성능를 향상시킬 수 있는가?
• RQ3 다른 최적화 기법(Adam 대비 모멘텀이 있는 SGD)과 하이퍼파라미터는 모델 정확도와 학습 시간에 어떤 영향을 미치는가?
• RQ4 앙상블 모델은 훈련, 검증, 테스트 세트 간의 클래스 불균형과 일반화 능력에 어떻게 대응하는가?
• RQ5 실생활 졸림 탐지 응용 분야에서 단일 데이터셋과 고립된 모델 평가의 한계는 무엇인가?

주요 결과

• 앙상블 CNN(ECNN)은 졸린 클래스에서 F1 스코어 0.935, 각성 클래스에서 0.978를 기록하여 모든 개별 CNN 모델을 능가하였다.
• CNN3는 각성 상태에서 가장 높은 정밀도(97.7%)를 기록하였고, 앙상블 모델은 졸린 상태에서 가장 높은 정밀도(97.0%)를 기록하였다.
• 앙상블 모델은 졸린 상태에서 재현도 90.3%, 각성 상태에서 99.5%를 기록하여 두 클래스 모두 강력한 탐지 능력을 보였다.
• 개별 모델 중에서 CNN1은 각성 상태에서 가장 높은 F1 스코어(0.972)를 기록하였고, 앙상블 모델은 졸린 상태에서 가장 높은 F1 스코어(0.935)를 기록하였다.
• ECNN 모델은 훈련, 검증, 테스트 세트에서 일관된 성능를 보였으며, 유사한 혼동 행렬 패턴을 통해 최소한의 과적합을 보였다.
• ECNN 모델은 67분 27초의 학습 시간을 거쳐 99.42%의 정확도를 달성하였고, 개별 모델 대비 향상된 일반화 능력을 보였다.