[논문 리뷰] A Drowsiness Detection Scheme Based on Fusion of Voice and Vision Cues.

Anirban Dasgupta, Bibek Kabi외 3명|arXiv (Cornell University)|2015. 09. 16.

Sleep and Work-Related Fatigue참고 문헌 13인용 수 3

한 줄 요약

이 논문은 실시간으로 운전자의 졸림 수준을 평가하기 위해 음성과 시각 신호를 융합하는 비접촉식 졸림 감지 시스템을 제안한다. 음성 특징(예: 말하기 패턴)과 시각 특징(예: 눈 감힘, 머리 자세)을 결합함으로써 침습적이지 않은 방법으로 정확한 졸림 정도 평가를 달성하였으며, 신뢰성을 확보하기 위해 뇌파 신호 데이터와의 교차 검증을 수행하였다.

ABSTRACT

Drowsiness level detection of an individual is very important in many safety critical applications such as driving. There are several invasive and contact based methods such as use of blood biochemical, brain signals etc. which can estimate the level of drowsiness very accurately. However, these methods are very difficult to implement in practical scenarios, as they cause discomfort to the user. This paper presents a combined voice and vision based drowsiness detection system well suited to detect the drowsiness level of an automotive driver. The vision and voice based detection, being non-contact methods, has the advantage of their feasibility of implementation. The authenticity of these methods have been cross-validated using brain signals.

연구 동기 및 목표

• 자동차 환경에 적합한 비침습적 실시간 졸림 감지 시스템을 개발하기 위해.
• 보완적인 음성 및 시각 기반 특징을 융합하여 감지 정확도를 향상시키기 위해.
• 황금 표준으로서의 뇌파 신호를 사용하여 시스템의 신뢰성을 검증하기 위해.
• 접촉 없는 센서 기반 방법을 통해 실용적인 구현을 가능하게 하기 위해.
• 침습적인 생리적 모니터링 기법에 비해 사용자 불편을 줄이기 위해.

제안 방법

• 시스템은 운전자의 실시간 오디오 및 비디오 스트림을 캡처한다.
• 음성 특징은 말하기 패턴에 중점을 두고 음성 처리 기법을 사용하여 추출된다.
• 시각 특징은 컴퓨터 비전 알고리즘을 활용해 얼굴의 특징점에서 유도되며, 특히 눈 감힘과 머리 자세에 초점이 맞춰져 있다.
• 융합 모델은 음성 및 시각 특징을 조합하여 졸림 수준을 추정한다.
• 시스템의 성능는 뇌파 신호로부터 유도된 졸림 수준과의 비교를 통해 검증된다.
• 특징 융합은 감지 정확도 최적화를 위해 가중 조합 전략을 사용한다.

실험 결과

연구 질문

• RQ1 음성과 시각 신호를 효과적으로 융합하여 신체적 접촉 없이 졸림을 감지할 수 있는가?
• RQ2 음성 및 시각 특징의 융합은 단일 모odal 접근에 비해 졸림 감지 정확도를 얼마나 향상시키는가?
• RQ3 시스템의 출력이 뇌파 신호로 측정된 실제 졸림 수준과 얼마나 관련이 있는가?
• RQ4 시스템은 실제 주행 조건에서 신뢰성 있게 구현될 수 있는가?

주요 결과

• 제안된 융합 시스템은 단일 모달 접근에 비해 더 높은 졸림 감지 정확도를 달성한다.
• 시스템은 뇌파 신호로부터 유도된 졸림 수준과 강한 상관관계를 보이며, 그 신뢰성을 검증한다.
• 음성 및 시각 신호는 상호 보완적인 정보를 제공하여 감지의 강건성을 향상시킨다.
• 비접촉식 설계 덕분에 사용자 편안함과 차량 내 실용적 구현 가능성을 확보한다.
• 융합 모델은 임의의 경고를 효과적으로 줄이고 감지 일관성을 향상시킨다.