[论文解读] A Drowsiness Detection Scheme Based on Fusion of Voice and Vision Cues.

Anirban Dasgupta, Bibek Kabi+3 more|arXiv (Cornell University)|Sep 16, 2015

Sleep and Work-Related Fatigue参考文献 13被引用 3

一句话总结

本文提出了一种非接触式疲劳检测系统，通过融合语音与视觉线索，实时评估驾驶员的疲劳程度。通过结合音频特征（例如，语音模式）和视觉特征（例如，眼睑闭合、头部姿态），该系统在不使用侵入性方法的情况下实现了准确的疲劳程度估计，并通过脑电信号数据对结果进行了交叉验证，以确保可靠性。

ABSTRACT

Drowsiness level detection of an individual is very important in many safety critical applications such as driving. There are several invasive and contact based methods such as use of blood biochemical, brain signals etc. which can estimate the level of drowsiness very accurately. However, these methods are very difficult to implement in practical scenarios, as they cause discomfort to the user. This paper presents a combined voice and vision based drowsiness detection system well suited to detect the drowsiness level of an automotive driver. The vision and voice based detection, being non-contact methods, has the advantage of their feasibility of implementation. The authenticity of these methods have been cross-validated using brain signals.

研究动机与目标

• 开发一种适用于车载环境的非侵入式、实时疲劳检测系统。
• 通过融合互补的语音与视觉特征，提高检测准确性。
• 利用脑电信号作为金标准，验证系统的可靠性。
• 通过非接触式传感方法实现系统的实际部署。
• 与侵入式生理监测技术相比，降低用户不适感。

提出的方法

• 系统实时捕获驾驶员的音频与视频流。
• 使用语音处理技术提取语音特征，重点关注语音节奏与音高的变化。
• 利用计算机视觉算法从面部关键点中提取视觉特征，特别是眼睑闭合与头部姿态。
• 融合模型将语音与视觉特征结合，以估计疲劳程度。
• 通过将系统输出与从脑电信号推断出的疲劳程度进行比较，验证系统性能。
• 采用加权组合策略进行特征融合，以优化检测准确性。

实验结果

研究问题

• RQ1 语音与视觉线索能否有效融合，实现在无物理接触情况下的疲劳检测？
• RQ2 与单模态方法相比，音频与视觉特征的融合在多大程度上提升了疲劳检测的准确性？
• RQ3 系统输出与脑电信号测得的实际疲劳程度之间的相关性如何？
• RQ4 该系统能否在真实驾驶环境中可靠部署？

主要发现

• 所提出的融合系统在疲劳检测准确性方面优于单模态方法。
• 系统与从脑电信号推导出的疲劳程度表现出强相关性，验证了其可靠性。
• 语音与视觉线索提供互补信息，增强了检测的鲁棒性。
• 系统的非接触特性确保了用户舒适性，并提升了在车辆中的实际可部署性。
• 融合模型有效降低了误报率，并提高了检测的一致性。