[논문 리뷰] Driver distraction detection and recognition using RGB-D sensor

Céline Craye, Fakhri Karray|arXiv (Cornell University)|2015. 02. 01.

Sleep and Work-Related Fatigue참고 문헌 42인용 수 75

한 줄 요약

이 논문은 RGB-D 기반 시스템을 제안하며, Kinect 센서 데이터를 사용하여 눈 동작, 팔 위치, 머리 자세, 얼굴 표정의 네 가지 행동 카테고리로 운전자의 주의산산을 탐지하고 분류한다. AdaBoost와 은닉 마르코프 모델(Hidden Markov Model)의 융합을 통해 8명의 운전자를 대상으로 시뮬레이터 연구에서 주의산산 유형 식별 정확도가 85%이며, 주의산산 탐지 정확도는 90%를 기록한다.

ABSTRACT

Driver inattention assessment has become a very active field in intelligent transportation systems. Based on active sensor Kinect and computer vision tools, we have built an efficient module for detecting driver distraction and recognizing the type of distraction. Based on color and depth map data from the Kinect, our system is composed of four sub-modules. We call them eye behavior (detecting gaze and blinking), arm position (is the right arm up, down, right of forward), head orientation, and facial expressions. Each module produces relevant information for assessing driver inattention. They are merged together later on using two different classification strategies: AdaBoost classifier and Hidden Markov Model. Evaluation is done using a driving simulator and 8 drivers of different gender, age and nationality for a total of more than 8 hours of recording. Qualitative and quantitative results show strong and accurate detection and recognition capacity (85% accuracy for the type of distraction and 90% for distraction detection). Moreover, each module is obtained independently and could be used for other types of inference, such as fatigue detection, and could be implemented for real cars systems.

연구 동기 및 목표

• 실시간으로 비침습적인 방식으로 RGB-D 센서 데이터를 활용해 운전자의 주의산산을 탐지하고 인식하는 시스템을 개발하기 위해.
• 다중 모odal 행동 분석을 통해 시각적, 수동적, 인지적 주의산산을 식별하여 운전 안전을 향상시키기 위해.
• 단순한 무관심 탐지 이상의 세부적인 주의산산 유형 인식을 제공함으로써 맥락 인식형 인간-기계 상호작용을 가능하게 하기 위해.
• 피로 탐지 및 기타 운전자 상태 추론 작업에 재사용 가능한 모듈식 구성 요소를 설계하기 위해.
• 다양한 운전자를 대상으로 현실적인 운전 시뮬레이터 조건에서 시스템 성능을 평가하기 위해.

제안 방법

• 시스템은 실시간 운전자 모니터링을 위해 동기화된 RGB 및 깊이 영상 스트림을 캡처하기 위해 Kinect 센서를 사용한다.
• 네 개의 독립된 모듈이 특징을 추출한다: 눈 동작(시선 방향, 깜빡임), 팔 위치(위/아래/오른쪽/앞쪽), 머리 자세, 얼굴 표정(얼굴 랜드마크 검출을 활용).
• AdaBoost 분류기 출력에 시간적 스무딩을 적용하여 안정성을 향상시키고 프레임 간 변동을 줄인다.
• 은닉 마르코프 모델(Hidden Markov Model, HMM)을 사용하여 주의산산 행동의 시간적 동역학을 모델링함으로써 시간이 지남에 따라 정확도를 향상시킨다.
• 모듈 출력의 융합은 두 가지 전략을 사용한다: AdaBoost를 통한 조기 융합과 HMM을 통한 순차적 모델링으로 분류 성능 향상.
• 시스템은 8명의 다양한 배경을 가진 운전자로부터 확보한 8시간 이상의 운전 시뮬레이터 기록 데이터셋을 기반으로 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 Kinect에서 얻는 RGB-D 센서 데이터를 효과적으로 활용하여 높은 정확도로 주의산산을 탐지하고 분류할 수 있는가?
• RQ2 개별 행동 모듈(눈, 팔, 머리, 표정)이 전체 주의산산 인식 성능에 기여하는 정도는 어떠한가?
• RQ3 HMM을 통한 시간적 모델링이 AdaBoost를 사용한 정적 분류에 비해 분류 정확도를 향상시키는가?
• RQ4 예를 들어 전화 사용, 문자 입력, 음료 섭취, 물체 조작 등의 다양한 주의산산 유형은 탐지 가능성과 오분류 비율에서 어떻게 비교되는가?
• RQ5 모듈식 설계는 피로 탐지와 같은 다른 운전자 상태 모니터링 작업으로의 확장에 얼마나 기여할 수 있는가?

주요 결과

• 시스템은 주의산산 유형 인식 정확도가 85%를 기록했으며, 전화 통화(96.24% 정밀도)와 문자 입력(96.24% 정밀도)에 가장 높은 성능을 보였다.
• 전반적인 주의산산 탐지 정확도는 90%였으며, 정상 주행가장 정확도가 높은 클래스로 96.00% 재현율을 기록했다.
• 물체 조작은 정상 주행 행동과 유사하여 가장 탐지가 어려운 유형이었으며, 민감도가 오직 24.78%에 그쳤다.
• 음료 섭취 행동은 높은 가짜 양성 비율(51.45% 정밀도)을 보였는데, 주로 전화 사용 등의 다른 작업 중 발생하는 팔 움직임이 간섭하여 발생했다.
• HMM 기반 융합 전략은 시간적 일관성을 향상시켜 혼합 동작 시퀀스에서의 프레임 수준의 노이즈와 가짜 양성 반응을 감소시켰다.
• 모듈식 설계 덕분에 피로 탐지에 사용되는 PERCLOS나 졸림 빈도와 같은 다른 응용 분야에 구성 요소를 독립적으로 활용할 수 있다.