[论文解读] Dynamics of Driver's Gaze: Explorations in Behavior Modeling & Maneuver Prediction.

Sujitha Martin, Sourabh Vora+2 more|arXiv (Cornell University)|Jan 31, 2018

Autonomous Vehicle Technology and Safety参考文献 20被引用 6

一句话总结

本文提出了一种基于机器视觉的框架，通过从自然驾驶数据中提取的时空特征——凝视累积、凝视时长和凝视频率——来建模驾驶员凝视动态。通过分析这些特征，该模型能够提前最多1,000毫秒以超过75%的准确率预测左转和右转变道行为，展现出在自动驾驶车辆中对驾驶员意图预测与人机控制交接管理方面的强大预测能力。

ABSTRACT

The study and modeling of driver's gaze dynamics is important because, if and how the driver is monitoring the driving environment is vital for driver assistance in manual mode, for take-over requests in highly automated mode and for semantic perception of the surround in fully autonomous mode. We developed a machine vision based framework to classify driver's gaze into context rich zones of interest and model driver's gaze behavior by representing gaze dynamics over a time period using gaze accumulation, glance duration and glance frequencies. As a use case, we explore the driver's gaze dynamic patterns during maneuvers executed in freeway driving, namely, left lane change maneuver, right lane change maneuver and lane keeping. It is shown that condensing gaze dynamics into durations and frequencies leads to recurring patterns based on driver activities. Furthermore, modeling these patterns show predictive powers in maneuver detection up to a few hundred milliseconds a priori.

研究动机与目标

• 开发一种在自然驾驶环境中建模驾驶员凝视动态的框架，以支持驾驶员辅助与自动化控制过渡。
• 识别驾驶环境中富含上下文信息的感兴趣区域，以实现精确的凝视分类。
• 使用捕捉特定操作期间重复模式的时空特征来量化凝视行为。
• 评估凝视动态在操作执行前的预测能力。
• 实现在自动驾驶车辆中实现更早的驾驶员意图检测，以提升人机控制交接的安全性。

提出的方法

• 该框架利用机器视觉技术将驾驶员凝视分类为富含上下文信息的静态感兴趣区域（如后视镜、中控台、前方道路）。
• 通过三个核心特征对凝视动态进行时间上的汇总：凝视累积（在某一区域停留的总时间）、凝视时长（单次凝视的持续时间）和凝视频率（单位时间内的凝视次数）。
• 在来自多位驾驶员的标注自然驾驶数据上训练模型，其中包含变道和保持车道行为的真实标签。
• 通过在操作事件周围的时间窗口分析评估凝视行为模型，性能指标包括召回率和模型置信度。
• 采用序列窗口法评估在变道事件发生前不同时间延迟下的预测准确性。
• 通过计算不同驾驶员和操作下置信度得分的均值与标准差，量化模型的适应性。

实验结果

研究问题

• RQ1 凝视累积、凝视时长和凝视频率是否能有效捕捉高速公路操作期间驾驶员凝视的重复模式？
• RQ2 凝视动态在变道发生前多大程度上能准确预测左转和右转变道？
• RQ3 由于减少了驾驶员间的差异性，凝视累积是否在操作预测中优于凝视时长和频率？
• RQ4 在相似操作中，不同驾驶员的凝视行为模式有何差异？模型是否具备跨个体的泛化能力？
• RQ5 凝视基模型在多大程度上可支持自动驾驶系统中驾驶员意图的早期检测，以实现控制过渡？

主要发现

• 仅使用凝视累积特征，对左转和右转变道的预测准确率在操作开始前1,000毫秒内超过75%。
• 单独使用凝视时长特征的预测准确率约为60%，而结合时长与频率特征的准确率仅为40%，表明这些特征在驾驶员间存在更高的变异性。
• 由于凝视累积聚合了注意力分配信息，显著降低了个体间差异性，因此在不同驾驶员间表现出更优的鲁棒性。
• 左转和右转变道的模型与保持车道的模型在预测结果上表现出明显分离，且对正确操作的预测具有高度置信度。
• 正确模型的置信度峰值出现时间因驾驶员和操作类型而异，但总体上正确模型的主导地位在所有受试者中保持一致。
• 该框架成功捕捉到与特定驾驶行为相关的重复性凝视动态，从而实现了对驾驶员意图的可靠预测。