[论文解读] Drowsiness Detection Based On Driver Temporal Behavior Using a New Developed Dataset

Farnoosh Faraji, Faraz Lotfi+3 more|arXiv (Cornell University)|Mar 31, 2021

Sleep and Work-Related Fatigue参考文献 21被引用 6

一句话总结

本文提出一种混合深度学习方法，结合 YOLOv3 实现实时面部特征检测，以及利用 LSTM 建模驾驶员行为的时间序列，以提升困倦检测性能。通过利用新收集的包含眼睑闭合时长和打哈欠后时间序列的数据集，该方法实现了 96.4% 的准确率，通过基于序列的时间建模优于单一 CNN 阈值方法，实现早期困倦预测。

ABSTRACT

Driver drowsiness detection has been the subject of many researches in the past few decades and various methods have been developed to detect it. In this study, as an image-based approach with adequate accuracy, along with the expedite process, we applied YOLOv3 (You Look Only Once-version3) CNN (Convolutional Neural Network) for extracting facial features automatically. Then, LSTM (Long-Short Term Memory) neural network is employed to learn driver temporal behaviors including yawning and blinking time period as well as sequence classification. To train YOLOv3, we utilized our collected dataset alongside the transfer learning method. Moreover, the dataset for the LSTM training process is produced by the mentioned CNN and is formatted as a two-dimensional sequence comprised of eye blinking and yawning time durations. The developed dataset considers both disturbances such as illumination and drivers' head posture. To have real-time experiments a multi-thread framework is developed to run both CNN and LSTM in parallel. Finally, results indicate the hybrid of CNN and LSTM ability in drowsiness detection and the effectiveness of the proposed method.

研究动机与目标

• 通过建模驾驶员行为的时间模式，解决单帧困倦检测的局限性。
• 构建一个新且鲁棒的数据集，以考虑光照变化和头部姿态变化对困倦检测的影响。
• 通过结合空间特征提取（YOLOv3）与序列行为建模（LSTM），提升早期困倦预测性能。
• 通过多线程并行处理框架实现实时性能，同时处理 CNN 和 LSTM。
• 证明基于序列的学习方法在困倦检测中优于静态阈值法。

提出的方法

• 使用迁移学习的 YOLOv3 检测视频帧中的面部关键点（眼睛、嘴巴、眉毛）。
• 提取眼睑闭合时长和上次打哈欠以来的时间序列数据，形成 LSTM 的 2D 输入序列。
• 在序列数据上训练 LSTM 网络，基于时间模式分类困倦概率。
• 实现多线程框架，使 YOLOv3 与 LSTM 并行运行，以实现实时推理。
• 采用 50% 的困倦概率阈值触发警报，并在打哈欠事件后动态调整阈值。
• 将混合 LSTM-CNN 系统与两种单-CNN 策略进行对比：一种基于眼睑闭合时间 >5 秒，另一种在打哈欠后采用自适应 3 秒阈值。

实验结果

研究问题

• RQ1 通过利用时间行为序列，混合 CNN-LSTM 模型是否能比基于单帧阈值的方法更有效地检测困倦？
• RQ2 与静态帧分析相比，建模眼睑闭合时长和打哈欠后时间间隔如何提升困倦预测的准确性？
• RQ3 所提出的多线程实时框架在支持 CNN 与 LSTM 并行处理的同时，其性能保持程度如何？
• RQ4 使用新收集的多样化数据集是否增强了对光照和头部姿态变化的鲁棒性？
• RQ5 当单帧特征未超过静态阈值时，LSTM 模型是否仍能检测到早期困倦迹象？

主要发现

• 混合 LSTM-CNN 系统在困倦检测中达到 96.4% 的准确率，优于基于单-CNN 阈值的方法。
• LSTM 模型在单-CNN 方法触发阈值前即检测到困倦，例如在眼睑闭合 0.19 秒时，困倦概率已达 0.16（16%），早于 CNN 阈值触发。
• 即使在眼睑重新睁开后，混合系统仍保持较高的困倦概率（如图 9b 所示，达 0.14），表明对疲劳模式的持续检测能力。
• 系统在打哈欠事件后仍保持警觉，警告可维持长达 2 分钟，证明其具备有效的时序记忆能力。
• 多线程框架通过并行处理 CNN 与 LSTM 实现了实时性能，支持实际部署。
• 基于 LSTM 的方法即使在单帧特征未超过静态阈值时，仍能成功预测困倦，证明了序列建模的价值。