[논문 리뷰] Using image-extracted features to determine heart rate and blink duration for driver sleepiness detection

Erfan Darzi, Mohammadie-Zand, Armin외 1명|arXiv (Cornell University)|2019. 11. 04.

Non-Invasive Vital Sign Monitoring참고 문헌 16인용 수 4

한 줄 요약

이 논문은 얼굴 영상에서 추출한 특징을 사용하여 심박수와 깜빡임 지속시간을 추정함으로써 비침습적이고 원격으로 운전자 졸림을 감지하는 시스템을 제안한다. 인공신경망(ANN)과 선형판별분석(LDA)을 활용한 얼굴 영상 분석을 통해 눈 상태(열림/닫힘)를 분류하고, 독립성분분석(ICA)과 색채 기반 방법을 사용하여 심박수를 추정하며, 깜빡임 검출 정확도는 92%이며 심박수 추정 평균 오차는 13 BPM을 기록한다.

ABSTRACT

Heart rate and blink duration are two vital physiological signals which give information about cardiac activity and consciousness. Monitoring these two signals is crucial for various applications such as driver drowsiness detection. As there are several problems posed by the conventional systems to be used for continuous, long-term monitoring, a remote blink and ECG monitoring system can be used as an alternative. For estimating the blink duration, two strategies are used. In the first approach, pictures of open and closed eyes are fed into an Artificial Neural Network (ANN) to decide whether the eyes are open or close. In the second approach, they are classified and labeled using Linear Discriminant Analysis (LDA). The labeled images are then be used to determine the blink duration. For heart rate variability, two strategies are used to evaluate the passing blood volume: Independent Component Analysis (ICA); and a chrominance based method. Eye recognition yielded 78-92% accuracy in classifying open/closed eyes with ANN and 71-91% accuracy with LDA. Heart rate evaluations had a mean loss of around 16 Beats Per Minute (BPM) for the ICA strategy and 13 BPM for the chrominance based technique.

연구 동기 및 목표

• 영상 기반 생리적 신호를 이용하여 원격으로 비침습적인 운전자 졸림 감지 시스템을 개발하는 것.
• 기존의 웨어러블 센서의 한계를 극복하기 위해 지속적이고 장기적인 평가가 가능한 영상 기반 모니터링을 사용하는 것.
• 얼굴 영상에서 추출한 깜빡임 지속시간과 심박수 변동성의 융합을 통해 졸림 감지의 정확도와 신뢰성을 향상시키는 것.
• 눈 상태 분류 및 심박수 추정을 위한 다수의 머신러닝 및 신호 처리 기법을 평가하고 비교하는 것.
• 실시간 운전자 모니터링 시스템을 위한 실용적이고 저비용의 웨어러블 장치 대체 방안을 제공하는 것.

제안 방법

• 눈 상태(열림/닫힘) 및 혈액량 변화와 관련된 특징을 추출하기 위해 얼굴 영상 시퀀스를 촬영하였다.
• 인공신경망(ANN)을 사용하여 영상에서 눈 상태를 분류하였으며, 정확도는 78–92%를 달성하였다.
• 눈 상태 분류의 대안으로 선형판별분석(LDA)을 적용하였으며, 정확도는 71–91%를 기록하였다.
• 독립성분분석(ICA)을 활용하여 얼굴 영상 신호에서 심박수를 추정하였으며, 평균 오차는 약 16 BPM이었다.
• 색채 기반 방법을 구현하여 심박수 변동성을 추정하였으며, 평균 오차는 약 13 BPM으로 더 낮게 기록되었다.
• 깜빡임 지속시간 추정과 심박수 변동성을 융합하여 실시간으로 운전자 졸림을 평가하는 데에 사용하였다.

실험 결과

연구 질문

• RQ1 얼굴 영상에서 추출한 특징가 깜빡임 지속시간을 정확하게 추정할 수 있는가? 이는 운전자 졸림 감지에 유용한가?
• RQ2 ANN과 LDA는 정적 영상에서 눈이 열려 있는지 닫혀 있는지 상태를 분류하는 데 얼마나 효과적인가?
• RQ3 ICA와 색채 기반 분석 중 어느 신호 처리 기법이 얼굴 영상에서 더 정확한 심박수 추정을 가능하게 하는가?
• RQ4 깜빡임 지속시간과 심박수 변동성의 융합은 졸림 감지 성능에 어떤 영향을 미치는가?
• RQ5 비접촉식 영상 기반 시스템은 장기적이고 지속적인 모니터링에서 기존의 웨어러블 센서를 능가할 수 있는가?

주요 결과

• ANN 기반 방법은 얼굴 영상에서 눈 상태를 분류하는 데 78–92%의 정확도를 달성하였다.
• LDA 기반 방법은 눈 상태 분류에서 71–91%의 정확도를 기록하였으며, 다양한 피험자 간에서도 뛰어난 안정성을 보였다.
• ICA 기반 심박수 추정 방법은 평균 오차 약 16 비트 매 분(BPM)을 기록하였다.
• 색채 기반 심박수 추정 방법은 평균 오차 약 13 BPM으로 ICA를 뛰어넘는 더 낮은 오차를 기록하였다.
• 영상에서 추출한 특징을 기반으로 깜빡임 지속시간과 심박수 변동성을 융합함으로써 신뢰할 수 있는 비침습적 졸림 감지가 가능해졌다.
• 이 시스템은 웨어러블 센서 없이도 실시간 원격 모니터링이 가능함을 입증하였다.