[논문 리뷰] Driver Drowsiness Classification Based on Eye Blink and Head Movement Features Using the k-NN Algorithm

Mariella Dreißig, Mohamed Hedi Baccour외 2명|arXiv (Cornell University)|2020. 09. 28.

Sleep and Work-Related Fatigue참고 문헌 37인용 수 4

한 줄 요약

이 연구는 운전자 감시 카메라 데이터에서 추출한 눈 깜빡임 및 머리 움직임 특징을 기반으로 k-NN 기반의 운전사 졸림 분류 시스템을 제안한다. 이 시스템은 이진 분류에서 84.2%의 균형 잡힌 정확도를 달성하며, PERCLOS2, 눈꺼풀 간극, 머리 흔들림과 같은 핵심 행동 특징을 식별하여 더 견고한 실시간 모니터링 시스템을 가능하게 한다.

ABSTRACT

Modern advanced driver-assistance systems analyze the driving performance to gather information about the driver's state. Such systems are able, for example, to detect signs of drowsiness by evaluating the steering or lane keeping behavior and to alert the driver when the drowsiness state reaches a critical level. However, these kinds of systems have no access to direct cues about the driver's state. Hence, the aim of this work is to extend the driver drowsiness detection in vehicles using signals of a driver monitoring camera. For this purpose, 35 features related to the driver's eye blinking behavior and head movements are extracted in driving simulator experiments. Based on that large dataset, we developed and evaluated a feature selection method based on the k-Nearest Neighbor algorithm for the driver's state classification. A concluding analysis of the best performing feature sets yields valuable insights about the influence of drowsiness on the driver's blink behavior and head movements. These findings will help in the future development of robust and reliable driver drowsiness monitoring systems to prevent fatigue-induced accidents.

연구 동기 및 목표

• 운전자 감시 카메라에서 비침습적 신호를 활용하여 차량 내 운전사 졸림 감지를 향상시키기 위해.
• 졸림을 나타내는 데 적합한 35개의 눈 깜빡임 및 머리 움직임 특징를 식별하고 평가하기 위해.
• 특징 선택을 통한 최적화를 통해 k-Nearest Neighbor(k-NN) 분류기를 개발하고 정확한 운전사 상태 분류를 위해 최적화하기 위해.
• 졸림이 눈 깜빡임 행동과 머리 움직임에 미치는 영향을 이해하여 향후 견고한 모니터링 시스템 개발에 기여하기 위해.

제안 방법

• 각기 각성, 의심스러운, 졸린 상태에서 참가자들에게서 드라이빙 시뮬레이터 데이터를 수집하여 총 35개의 행동 특징을 포함한 데이터셋을 구축함.
• 눈 깜빡임 지속 시간, 열림/다시 열림 지속 시간, PERCLOS1/PERCLOS2, 머리 흔들림, 눈꺼풀 간극, 진폭-속도 비율 등의 특징을 추출함.
• k-NN 기반의 워퍼 기반 특징 선택을 적용하여 이진 및 다중 분류에 최적의 특징 조합을 식별함.
• 다중 분류 성능 향상과 클래스 간 분리 가능성 분석을 위해 one-vs-one(OvO) 분류 전략을 사용함.
• 교차 검증을 통해 k 값 조정 및 적절한 거리 측정 방법 선택을 통한 k-NN 모델 최적화 수행함.
• 균형 잡힌 정확도를 사용한 모델 성능 평가 및 다양한 분류 작업에서의 특징 중요도 분석 수행함.

실험 결과

연구 질문

• RQ1 눈 깜빡임 및 머리 움직임 특징의 어떤 조합이 각각 각성, 의심스러운, 졸린 상태의 운전사 상태를 가장 효과적으로 구분하는가?
• RQ2 많은 수의 행동 특징을 사용할 때 k-NN 알고리즘이 운전사 졸림을 분류하는 데 어떻게 성능을 발휘하는가?
• RQ3 특징 선택은 k-NN 기반의 졸림 분류 정확도와 내구성에 향상 효과를 줄 수 있는가?
• RQ4 졸린 상태와 각성 상태를 분리하는 데 가장 분류 능력이 뛰어난 특징는 무엇이며, 이는 어떤 분류 전략에 따라 달라지는가?
• RQ5 이 문제에 대해 표준 다중 분류 k-NN보다 one-vs-one(OvO) 분류 접근 방식이 더 높은 성능과 깊이 있는 통찰을 제공하는가?

주요 결과

• k-NN 분류기는 선택된 특징 집합을 사용하여 이진 분류(각성 대 졸림)에서 84.2%의 균형 잡힌 검증 정확도를 달성하여 뛰어난 성능을 보였다.
• 다중 분류에서는 균형 잡힌 정확도 70.0%를 기록하여 세 가지 다른 상태를 구분하는 데 표준 k-NN 설정에서 어려움을 겪고 있음을 시사했다.
• OvO 분류 전략은 표준 다중 분류보다 略로 높은 성능을 보였으며, 민감도 향상과 클래스별 통찰을 제공했다.
• PERCLOS2, 눈꺼풀 간극, 머리 흔들림, 다시 열림 지속 시간 등의 특징가 최적의 특징 조합에서 일관되게 선택되어 높은 분류 능력을 지닌 것으로 나타났다.
• 모델 분석 결과 눈꺼풀 간극과 다시 열림 지속 시간은 각성 상태와 졸린 또는 의심스러운 상태를 구분하는 데 특히 효과적인 것으로 확인되었다.
• 더 적은 특징과 낮은 k 값을 가진 작고 컴act한 k-NN 모델이 더 복잡한 모델보다 뛰어난 성능을 보였으며, 이는 이 맥락에서 단순성이 일반화 능력을 향상시킨다는 것을 시사한다.