[论文解读] EyeCar: Modeling the Visual Attention Allocation of Drivers in Semi-Autonomous Vehicles

Sonia Baee, Erfan Pakdamanian+4 more|arXiv (Cornell University)|Dec 17, 2019

Human-Automation Interaction and Safety参考文献 42被引用 6

一句话总结

本文提出了一种强化学习与逆强化学习框架，利用真实世界追尾碰撞场景中的眼动追踪数据，对半自动驾驶车辆中被动驾驶员的视觉注意力分配进行建模。结果表明，经验丰富的驾驶员表现出更具适应性的注视模式，更早地将注意力集中在动态危险源上，从而提升情境意识并实现更早的危险检测。

ABSTRACT

A safe transition between autonomous and manual control requires sustained visual attention of the driver for the perception and assessment of hazards in dynamic driving environments. Thus, drivers must retain a certain level of situation awareness to safely takeover. Understanding the visual attention allocation of drivers can pave the way for inferring their dynamic state of situational awareness. We propose a reinforcement and inverse-reinforcement learning framework for modeling passive drivers' visual attention allocation in semi-autonomous vehicles. The proposed approach measures the eye-movement of passive drivers to evaluate their responses to real-world rear-end collisions. The results show substantial individual differences in the eye fixation patterns by driving experience, even among fully attentive drivers. Experienced drivers were more attentive to the situational dynamics and were able to identify potentially hazardous objects before any collisions occurred. These models of visual attention could potentially be integrated into autonomous systems to continuously monitor and guide effective intervention. Keywords: Visual attention allocation; Situation awareness; Eye movements; Eye fixation; Eye-Tracking; Reinforcement Learning; Inverse Reinforcement Learning

研究动机与目标

• 理解驾驶员在半自动驾驶车辆动态驾驶场景中如何分配视觉注意力。
• 利用强化学习与逆强化学习框架对被动驾驶员的视觉注意力进行建模。
• 评估驾驶经验如何影响潜在碰撞事件中眼球注视模式与情境意识。
• 识别与危险检测能力相关的视觉注意力分配的可测量差异。
• 使自动驾驶系统能够通过实时注意力建模实现对驾驶员干预的监测与引导。

提出的方法

• 在模拟追尾碰撞场景中，收集了半自动驾驶车辆中驾驶员的眼动追踪数据。
• 训练强化学习框架，将观察到的眼球注视模式建模为动态驾驶条件下的最优策略。
• 采用逆强化学习方法，从观察到的眼动数据中推断驱动注意力分配的潜在奖励函数。
• 该框架能够根据驾驶经验与情境动态差异区分注意力模式。
• 分析注视序列，以识别碰撞事件前对危险物体的早期检测。
• 利用真实世界驾驶数据对模型进行验证，评估其预测动态威胁下注意力转移的能力。

实验结果

研究问题

• RQ1 驾驶经验在多大程度上影响半自动驾驶车辆中驾驶员的视觉注意力分配？
• RQ2 在碰撞事件发生前，哪些眼球注视模式与早期危险检测相关？
• RQ3 强化学习与逆强化学习能否有效建模动态驾驶环境中被动驾驶员的视觉注意力？
• RQ4 在潜在追尾碰撞中，经验丰富的驾驶员与经验较少的驾驶员的注意力模式有何差异？
• RQ5 视觉注意力模型在多大程度上能够预测情境意识与接管准备度？

主要发现

• 经验丰富的驾驶员在碰撞事件发生前，对动态危险源（如对向车辆或突然减速）表现出更早且更一致的注视。
• 即使在完全专注的驾驶员中，也观察到显著的个体眼球注视模式差异，凸显了经验在注意力分配中的作用。
• 经验更丰富的驾驶员能够在碰撞前识别出潜在危险物体，表明其具备更高的情境意识。
• 逆强化学习模型成功推断出反映与安全驾驶行为一致的注意力策略的奖励函数。
• 该框架展示了区分与有效危险感知相关的注意力模式的能力，表明其在自动驾驶系统中具备实时监测的潜力。
• 眼动追踪数据显示，经验丰富的驾驶员在高风险场景中更战略性地将注意力分配给关键环境线索。