[논문 리뷰] Drowsiness Detection Based On Driver Temporal Behavior Using a New Developed Dataset

Farnoosh Faraji, Faraz Lotfi외 3명|arXiv (Cornell University)|2021. 03. 31.

Sleep and Work-Related Fatigue참고 문헌 21인용 수 6

한 줄 요약

이 논문은 실시간 얼굴 기능 검출을 위한 YOLOv3와 주행자의 행동 패턴을 모델링하기 위한 LSTM을 조합한 하이브리드 딥러닝 접근법을 제안한다. 눈 감힘 지속 시간과 하품 이후 경과 시간의 시계열 데이터를 포함한 새로 수집한 데이터셋을 활용하여, 시퀀스 기반의 시간적 모델링을 통해 단일 CNN 기반의 임계값 기반 방법보다 뛰어난 96.4%의 정확도로 조기 졸림 예측을 실현한다.

ABSTRACT

Driver drowsiness detection has been the subject of many researches in the past few decades and various methods have been developed to detect it. In this study, as an image-based approach with adequate accuracy, along with the expedite process, we applied YOLOv3 (You Look Only Once-version3) CNN (Convolutional Neural Network) for extracting facial features automatically. Then, LSTM (Long-Short Term Memory) neural network is employed to learn driver temporal behaviors including yawning and blinking time period as well as sequence classification. To train YOLOv3, we utilized our collected dataset alongside the transfer learning method. Moreover, the dataset for the LSTM training process is produced by the mentioned CNN and is formatted as a two-dimensional sequence comprised of eye blinking and yawning time durations. The developed dataset considers both disturbances such as illumination and drivers' head posture. To have real-time experiments a multi-thread framework is developed to run both CNN and LSTM in parallel. Finally, results indicate the hybrid of CNN and LSTM ability in drowsiness detection and the effectiveness of the proposed method.

연구 동기 및 목표

• 단일 프레임 기반의 졸림 감지 방법의 한계를 보완하기 위해 운전자의 행동 패턴을 시간적 패턴으로 모델링한다.
• 조명 변화와 머리 자세 변화를 고려한 새로운 강건한 데이터셋을 구축한다.
• 공간적 특징 추출(YOLOv3)과 순차적 행동 모델링(LSTM)을 융합하여 조기 졸림 예측을 향상시킨다.
• CNN과 LSTM을 병렬 처리하는 다중 스레드 기반 병렬 처리 프레임워크를 통해 실시간 성능을 확보한다.
• 시퀀스 기반 학습이 정적 임계값 기반 방법보다 졸림 감지에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 전이 학습을 활용한 YOLOv3를 사용하여 영상 프레임에서 얼굴 랜드마크(눈, 입, 눈썹)를 검출한다.
• 눈 감힘 지속 시간과 하품 이후 경과 시간의 시계열 데이터를 추출하여 LSTM에 입력할 2차원 입력 시퀀스를 구성한다.
• 시간적 패턴 기반으로 졸림 확률을 분류하기 위해 시퀀스 데이터를 기반으로 LSTM 네트워크를 훈련시킨다.
• 실시간 추론을 위해 YOLOv3와 LSTM을 병렬로 실행하는 다중 스레드 프레임워크를 구현한다.
• 경고를 트리거하기 위해 50%의 졸림 확률 임계값을 사용하며, 하품 이후에는 동적 임계값 조정을 수행한다.
• 단일 CNN 기반 전략 두 가지(눈 감힘 지속 시간 >5초 기반, 하품 이후 적응형 3초 임계값 기반)와 하이브리드 LSTM-CNN 시스템을 비교한다.

실험 결과

연구 질문

• RQ1 시퀀스 기반 시간적 행동 패턴을 활용함으로써, 단일 프레임 기반 임계값 기반 방법보다 하이브리드 CNN-LSTM 모델이 졸림 감지를 더 효과적으로 수행할 수 있는가?
• RQ2 눈 감힘 지속 시간과 하품 이후 간격을 모델링하면 정적 프레임 분석에 비해 졸림 예측 정확도가 어떻게 향상되는가?
• RQ3 제안된 다중 스레드 기반 실시간 프레임워크는 CNN과 LSTM의 병렬 처리를 지원하면서도 성능을 유지하는가?
• RQ4 새로 수집한 다양한 조건의 데이터셋을 사용함으로써 조명 변화와 머리 자세 변화에 대한 강인성이 향상되는가?
• RQ5 개별 프레임의 임계값을 초과하지 않더라도 LSTM 모델이 조기 졸림 징후를 감지할 수 있는가?

주요 결과

• 하이브리드 LSTM-CNN 시스템은 졸림 감지에서 96.4%의 정확도를 달성하여 단일 CNN 기반 임계값 기반 방법보다 뛰어난 성능을 보였다.
• LSTM 모델은 단일 CNN 방법보다 조기 졸림을 감지했으며, 눈 감힘 지속 시간 0.19초일 때 졸림 확률이 0.16(16%)에 도달하여 CNN 임계값이 활성화되기 이전이었다.
• 눈을 다시 뜨더라도 하이브리드 시스템은 높은 졸림 확률을 유지했다(예: 그림 9b에서 0.14), 피로 패턴의 지속적인 감지를 보여주었다.
• 하품 이벤트 이후에도 시스템은 경고를 유지하여 최대 2분간 경고 상태를 유지했으며, 효과적인 시간적 기억 기능을 입증했다.
• 다중 스레드 프레임워크는 CNN과 LSTM을 병렬 처리함으로써 실시간 성능를 확보했으며, 실용적 구현을 지원했다.
• LSTM 기반 방법은 개별 프레임의 특징가 정적 임계값을 초과하지 않더라도 졸림을 성공적으로 예측했으며, 시퀀스 기반 모델링의 가치를 입증했다.