[论文解读] Car that Knows Before You Do: Anticipating Maneuvers via Learning Temporal Driving Models

Ashesh Jain, Hema Swetha Koppula+3 more|arXiv (Cornell University)|Apr 10, 2015

Autonomous Vehicle Technology and Safety参考文献 52被引用 22

一句话总结

本文提出了一种自回归输入-输出隐马尔可夫模型（AIO-HMM），通过联合建模车辆内外的多模态驾驶环境（包括视频、GPS、车辆动力学和街道路线图），实现对驾驶操作提前最多3.5秒的预测。该方法在1180英里自然驾驶数据集上实现了超过80%的F1分数，支持实时推理，使主动式驾驶员辅助系统能够更早发出警告。

ABSTRACT

Advanced Driver Assistance Systems (ADAS) have made driving safer over the last decade. They prepare vehicles for unsafe road conditions and alert drivers if they perform a dangerous maneuver. However, many accidents are unavoidable because by the time drivers are alerted, it is already too late. Anticipating maneuvers beforehand can alert drivers before they perform the maneuver and also give ADAS more time to avoid or prepare for the danger. In this work we anticipate driving maneuvers a few seconds before they occur. For this purpose we equip a car with cameras and a computing device to capture the driving context from both inside and outside of the car. We propose an Autoregressive Input-Output HMM to model the contextual information alongwith the maneuvers. We evaluate our approach on a diverse data set with 1180 miles of natural freeway and city driving and show that we can anticipate maneuvers 3.5 seconds before they occur with over 80\% F1-score in real-time.

研究动机与目标

• 使高级驾驶辅助系统（ADAS）能够在危险操作发生前进行预测，从而降低事故率。
• 通过联合建模车辆内外的多模态驾驶环境，捕捉驾驶员意图的时序与生成性动态。
• 开发一种实时、鲁棒的系统，能够以高精度与高召回率预测未来驾驶操作。
• 发布首个公开可用的自然驾驶数据集，包含同步的车内/车外视频、GPS与车辆动力学数据，以支持未来研究。

提出的方法

• 提出一种自回归输入-输出隐马尔可夫模型（AIO-HMM），用于建模外部事件（车外环境）如何影响驾驶员意图，而驾驶员意图又进一步生成内部行为（车内环境）。
• 采用联合生成模型，捕捉驾驶环境的时序演化过程，包括视频流、GPS数据、车速和街道路线图。
• 应用动态规划算法降低推理复杂度，实现实时预测，每0.8秒仅需最新输入片段即可完成预测。
• 基于在美国两个州、10名驾驶员驾驶的1180英里自然驾驶数据中学习模型参数。
• 采用置信度阈值机制控制预测时机，在精度与召回率之间实现平衡。
• 将来自摄像头、车辆传感器和地图的多模态特征整合为统一的时间序列，用于建模。

实验结果

研究问题

• RQ1 生成模型是否能通过同时利用车内和车外驾驶环境，有效预测驾驶操作？
• RQ2 与固定时间间隔基线相比，建模上下文线索的时序动态是否能显著提升操作预测性能？
• RQ3 联合建模内部（驾驶员行为）与外部（交通、道路）环境在多大程度上提升了预测性能？
• RQ4 如何确定最佳预测发布时机，以在早期预警与预测准确性之间实现最优平衡？
• RQ5 所提方法是否能够实现实时性能，适合在实际ADAS系统中部署？

主要发现

• 当预测提前3.5秒时，AIO-HMM的F1分数达到30.7%，其中精确率与召回率分别为24.6%和20.0%，优于所有基线模型。
• 通过联合建模车内与车外环境，该模型相比IOHMM将预测误差降低15%，相比标准HMM降低20%。
• 系统运行在实时环境中，单次预测的平均推理时间仅为3.6毫秒（在3.4GHz CPU上）。
• 随着预测时间提前量的增加，性能持续提升，F1分数随预测时间提前而上升，证明了早期预测的价值。
• 与仅使用单一模态的模型相比，同时包含车内与车外环境信息使F1分数提升10%–15%，证实了多模态融合的重要性。
• 该方法在多种驾驶条件下均具有良好泛化能力，涵盖高速公路与城市道路，适用于多位驾驶员及不同地理区域。