[论文解读] Design and Implementation of Real-time Algorithms for Eye Tracking and PERCLOS Measurement for on board Estimation of Alertness of Drivers

Anjith George, Aurobinda Routray|arXiv (Cornell University)|May 22, 2015

Sleep and Work-Related Fatigue参考文献 20被引用 4

一句话总结

本文提出了一种基于计算机视觉的眼动追踪与PERCLOS（眼睑闭合比例）测量的实时车载驾驶员警觉性估计系统。该系统采用Haar分类器、PCA和基于LBP的方法，在不同光照条件下实现眼动检测，准确率超过90%，帧率超过5 fps，可在实际驾驶条件下及时检测疲劳状态。

ABSTRACT

The alertness level of drivers can be estimated with the use of computer vision based methods. The level of fatigue can be found from the value of PERCLOS. It is the ratio of closed eye frames to the total frames processed. The main objective of the thesis is the design and implementation of real-time algorithms for measurement of PERCLOS. In this work we have developed a real-time system which is able to process the video onboard and to alarm the driver in case the driver is in alert. For accurate estimation of PERCLOS the frame rate should be greater than 4 and accuracy should be greater than 90%. For eye detection we have used mainly two approaches Haar classifier based method and Principal Component Analysis (PCA) based method for day time. During night time active Near Infra Red (NIR) illumination is used. Local Binary Pattern (LBP) histogram based method is used for the detection of eyes at night time. The accuracy rate of the algorithms was found to be more than 90% at frame rates more than 5 fps which was suitable for the application.

研究动机与目标

• 开发用于基于计算机视觉的驾驶员警觉性实时估算的准确算法。
• 确保高准确率（>90%）和足够高的帧率（>5 fps），以实现车辆中的实际部署。
• 通过自适应光照和特征提取技术，在白天和夜间条件下均实现可靠的眼动检测。
• 实现一个系统，当PERCLOS超过安全阈值时可触发警报，指示困倦状态。
• 在实时视频处理中验证系统在车载驾驶员监控应用中的性能。

提出的方法

• 在白天条件下，利用Haar分类器和基于PCA的方法进行眼动检测。
• 在夜间采用主动近红外（NIR）照明，以实现一致的眼动检测。
• 在低光照条件下应用基于局部二值模式（LBP）直方图的特征提取方法，以增强眼动检测的鲁棒性。
• 通过计算闭眼帧数与总处理帧数的比值来计算PERCLOS，以量化疲劳程度。
• 使用优化的计算机视觉流水线实时处理视频流，以满足延迟约束。
• 将算法集成到车载系统中，实现持续监控和警报生成。

实验结果

研究问题

• RQ1 能否在足够高的准确率（>90%）和帧率（>5 fps）下实现实时眼动追踪，以用于驾驶员警觉性监测？
• RQ2 Haar和基于PCA的方法在白天光照条件下的眼动检测中效果如何？
• RQ3 在NIR照明下，基于LBP的特征提取方法在夜间眼动检测中的性能如何？
• RQ4 PERCLOS指标在实时视频处理中多大程度上能准确反映驾驶员疲劳状态？
• RQ5 所提出的系统能否在车辆中有效部署，以实现持续、可靠的警觉性估计？

主要发现

• 该系统在白天和夜间条件下均实现了超过90%的眼动检测准确率。
• 帧率超过5 fps，满足车载应用的实时处理要求。
• Haar、PCA和基于LBP的方法相结合，使系统在不同光照条件下均表现出稳健性能。
• PERCLOS测量在实时处理中成功计算，实现了及时的疲劳检测。
• 该系统证明了可集成到车载驾驶员监控系统中，以预防疲劳相关事故。
• 主动NIR照明显著提高了夜间运行时的眼动检测可靠性。