[论文解读] Driver distraction detection and recognition using RGB-D sensor

Céline Craye, Fakhri Karray|arXiv (Cornell University)|Feb 1, 2015

Sleep and Work-Related Fatigue参考文献 42被引用 75

一句话总结

该论文提出了一种基于RGB-D的系统，利用Kinect传感器数据，通过AdaBoost与隐马尔可夫模型（HMM）融合，将驾驶员分心行为分为四类——眼神行为、手臂位置、头部朝向和面部表情，实现在8名驾驶员的模拟器实验中，分心类型识别准确率达85%，分心检测准确率达90%。

ABSTRACT

Driver inattention assessment has become a very active field in intelligent transportation systems. Based on active sensor Kinect and computer vision tools, we have built an efficient module for detecting driver distraction and recognizing the type of distraction. Based on color and depth map data from the Kinect, our system is composed of four sub-modules. We call them eye behavior (detecting gaze and blinking), arm position (is the right arm up, down, right of forward), head orientation, and facial expressions. Each module produces relevant information for assessing driver inattention. They are merged together later on using two different classification strategies: AdaBoost classifier and Hidden Markov Model. Evaluation is done using a driving simulator and 8 drivers of different gender, age and nationality for a total of more than 8 hours of recording. Qualitative and quantitative results show strong and accurate detection and recognition capacity (85% accuracy for the type of distraction and 90% for distraction detection). Moreover, each module is obtained independently and could be used for other types of inference, such as fatigue detection, and could be implemented for real cars systems.

研究动机与目标

• 开发一种实时、非侵入式的系统，利用RGB-D传感器数据检测并识别驾驶员分心。
• 通过多模态行为分析，识别视觉、手动和认知分心，提升驾驶员安全。
• 通过提供超越简单注意力缺失检测的详细分心类型识别，实现上下文感知的人机交互。
• 设计可重用的模块化组件，适用于疲劳检测及其他驾驶员状态推断任务。
• 在包含多样化驾驶员的真实驾驶模拟器环境下评估系统性能。

提出的方法

• 系统使用Kinect传感器捕获同步的RGB与深度视频流，实现实时驾驶员监控。
• 四个独立模块分别提取特征：眼神行为（注视方向、眨眼）、手臂位置（上下/右前）、头部朝向，以及面部表情（基于面部关键点检测）。
• 对AdaBoost分类器输出应用时间平滑处理，以提高稳定性并减少帧间波动。
• 采用隐马尔可夫模型（HMM）对分心行为的时间动态进行建模，随时间推移提升识别准确率。
• 通过两种策略融合各模块输出：使用AdaBoost进行早期融合，结合HMM进行序列建模以提升分类性能。
• 系统在包含8名不同人口统计特征驾驶员的驾驶模拟器录制数据集（超过8小时）上进行训练与评估。

实验结果

研究问题

• RQ1 能否有效利用Kinect的RGB-D传感器数据，实现高精度的驾驶员分心检测与分类？
• RQ2 各行为模块（眼神、手臂、头部、面部表情）对整体分心识别性能的贡献如何？
• RQ3 与使用AdaBoost的静态分类相比，通过HMM进行时间建模是否能提升分类准确率？
• RQ4 不同类型的分心行为（如使用手机、打字、饮水、物品操作）在可检测性与误报率方面有何差异？
• RQ5 该模块化设计在多大程度上可扩展至其他驾驶员状态监控任务，如疲劳检测？

主要发现

• 系统在识别分心类型方面达到85%的准确率，其中电话通话（96.24%精确率）和短信发送（96.24%精确率）表现最佳。
• 整体分心检测准确率达90%，其中正常驾驶行为的检测最准确（96.00%召回率）。
• 物体分心最难检测，灵敏度仅为24.78%，因其与正常驾驶行为高度相似。
• 饮水动作的误报率较高（51.45%精确率），主要因在其他任务（如使用手机）中存在干扰性手臂动作。
• 基于HMM的融合策略提升了时间一致性，减少了混合动作序列中的帧级噪声与误报。
• 模块化设计允许独立使用各组件于其他应用，例如结合PERCLOS或打盹频率检测疲劳。