[논문 리뷰] Design and Implementation of Real-time Algorithms for Eye Tracking and PERCLOS Measurement for on board Estimation of Alertness of Drivers

Anjith George, Aurobinda Routray|arXiv (Cornell University)|2015. 05. 22.

Sleep and Work-Related Fatigue참고 문헌 20인용 수 4

한 줄 요약

이 논문은 컴퓨터 비전 기반의 눈 추적과 PERCLOS(눈 감힘 비율) 측정을 이용하여 실시간으로 운전자의 각성도를 추정하는 차량 내 장착형 시스템을 제시한다. 다양한 조명 조건에서 눈을 탐지하기 위해 하르 분류기, 주성분 분석(PCA) 및 LBP 기반 방법을 활용하여 5 fps 이상의 프레임 속도에서 90% 이상의 정확도를 달성하였으며, 실제 주행 환경에서 피로 상태를 적시에 탐지할 수 있도록 하였다.

ABSTRACT

The alertness level of drivers can be estimated with the use of computer vision based methods. The level of fatigue can be found from the value of PERCLOS. It is the ratio of closed eye frames to the total frames processed. The main objective of the thesis is the design and implementation of real-time algorithms for measurement of PERCLOS. In this work we have developed a real-time system which is able to process the video onboard and to alarm the driver in case the driver is in alert. For accurate estimation of PERCLOS the frame rate should be greater than 4 and accuracy should be greater than 90%. For eye detection we have used mainly two approaches Haar classifier based method and Principal Component Analysis (PCA) based method for day time. During night time active Near Infra Red (NIR) illumination is used. Local Binary Pattern (LBP) histogram based method is used for the detection of eyes at night time. The accuracy rate of the algorithms was found to be more than 90% at frame rates more than 5 fps which was suitable for the application.

연구 동기 및 목표

• 컴퓨터 비전을 이용한 실시간 알고리즘 개발을 통해 정확하고 차량 내에서의 운전자 각성도 추정을 수행한다.
• 실제 차량에 구현 가능한 실시간 적용을 위해 높은 정확도(>90%)와 충분한 프레임 속도(>5 fps)를 확보한다.
• 적응형 조명 및 특징 추출 기법을 활용하여 일상 및 야간 조건에서도 신뢰할 수 있는 눈 탐지를 가능하게 한다.
• PERCLOS가 안전 기준을 초과할 경우 경고를 발동시킬 수 있는 시스템을 구현한다. 이는 졸림 상태를 나타낸다.
• 실시간 영상 처리 환경에서 차량 내 운전자 모니터링 응용 분야에 적합한 시스템 성능을 검증한다.

제안 방법

• 낮에는 하르 분류기와 PCA 기반 방법을 사용하여 눈을 탐지한다.
• 야간 조건에서도 일관된 눈 탐지를 위해 능동형 근적외선(NIR) 조명을 적용한다.
• 저조도 조건에서 강건한 눈 탐지를 위해 국소 이진 패턴(LBP) 히스토그램 기반 특징 추출 기법을 적용한다.
• 피로 정도를 정량화하기 위해 닫힌 눈의 영상 프레임 수를 총 처리 프레임 수로 나눈 비율인 PERCLOS를 계산한다.
• 지연 시간 제약 조건을 충족시키기 위해 최적화된 컴퓨터 비전 파이프라인을 사용하여 영상 스트림을 실시간으로 처리한다.
• 알고리즘을 차량 내부에 통합하여 지속적인 모니터링과 경고 생성이 가능한 시스템을 구현한다.

실험 결과

연구 질문

• RQ1 실시간 눈 추적은 충분한 정확도(>90%)와 프레임 속도(>5 fps)를 확보하여 운전자 각성도 모니터링에 적합한가?
• RQ2 낮 조명 조건에서 하르 및 PCA 기반 방법의 눈 탐지 성능는 어떠한가?
• RQ3 NIR 조명을 사용한 야간 조건에서 LBP 기반 특징 추출의 눈 탐지 성능는 어떠한가?
• RQ4 실시간 영상 처리 환경에서 PERCLOS 지표는 운전자 피로도를 얼마나 정확하게 반영하는가?
• RQ5 제안된 시스템은 실시간으로 지속적이고 신뢰할 수 있는 각성도 추정이 가능한 차량 내에 효과적으로 통합 가능한가?

주요 결과

• 시스템은 일상 및 야간 조건에서 모두 눈 탐지 정확도가 90%를 초과하였다.
• 프레임 속도는 5 fps를 초과하여 차량 내 응용 분야에 필요한 실시간 처리 요구 조건을 충족시켰다.
• 하르, PCA 및 LBP 기반 방법의 조합이 다양한 조명 조건에서 강건한 성능을 발휘하였다.
• PERCLOS 측정이 실시간으로 성공적으로 계산되어 적시 피로 감지가 가능하였다.
• 피로 관련 사고 방지를 위한 차량 내 운전자 모니터링 시스템에의 통합 가능성은 입증되었다.
• 능동형 NIR 조명이 야간 주행 시 눈 탐지 신뢰도를 크게 향상시켰다.