[论文解读] Brain4Cars: Car That Knows Before You Do via Sensory-Fusion Deep Learning Architecture

Ashesh Jain, Hema Swetha Koppula+4 more|arXiv (Cornell University)|Jan 5, 2016

Autonomous Vehicle Technology and Safety参考文献 67被引用 95

一句话总结

本文提出 Brain4Cars，一种基于 RNN 与 LSTM 单元的感官融合深度学习架构，通过融合车内摄像头、GPS、车辆动态和街道路线图等多模态数据，提前 3.5 秒预测驾驶员操作。该系统采用新颖的序列到序列训练方法并引入自定义损失层，实现 90.5% 的精确率和 87.4% 的召回率，显著提升了高级驾驶辅助系统（ADAS）的早期预警能力。

ABSTRACT

Advanced Driver Assistance Systems (ADAS) have made driving safer over the last decade. They prepare vehicles for unsafe road conditions and alert drivers if they perform a dangerous maneuver. However, many accidents are unavoidable because by the time drivers are alerted, it is already too late. Anticipating maneuvers beforehand can alert drivers before they perform the maneuver and also give ADAS more time to avoid or prepare for the danger. In this work we propose a vehicular sensor-rich platform and learning algorithms for maneuver anticipation. For this purpose we equip a car with cameras, Global Positioning System (GPS), and a computing device to capture the driving context from both inside and outside of the car. In order to anticipate maneuvers, we propose a sensory-fusion deep learning architecture which jointly learns to anticipate and fuse multiple sensory streams. Our architecture consists of Recurrent Neural Networks (RNNs) that use Long Short-Term Memory (LSTM) units to capture long temporal dependencies. We propose a novel training procedure which allows the network to predict the future given only a partial temporal context. We introduce a diverse data set with 1180 miles of natural freeway and city driving, and show that we can anticipate maneuvers 3.5 seconds before they occur in real-time with a precision and recall of 90.5\% and 87.4\% respectively.

研究动机与目标

• 开发一种实时系统，提前预测驾驶员操作，从而在高级驾驶辅助系统（ADAS）中实现更早的预警与更安全的干预。
• 通过利用部分时间上下文预测未来动作，解决现有 ADAS 系统仅在危险操作启动后才作出反应的局限性。
• 构建一种鲁棒的感官融合架构，能够整合多样化的数据流——包括视频、GPS、车辆动态和地图——以实现全面的驾驶情境建模。
• 发布一个大规模、多样化的自然驾驶数据集，包含车内与外部视频、GPS 和车辆动态数据，以供未来研究的基准测试。
• 提供一个开源深度学习工具包，以加速前瞻性驾驶系统与机器人领域感官融合研究的发展。

提出的方法

• 系统采用具有长短期记忆（LSTM）单元的循环神经网络（RNN），以建模多模态传感器数据中的长期时间依赖性。
• 新颖的序列到序列训练流程使网络能够从部分时间上下文中预测未来操作，模拟真实时间的前瞻性预测。
• 引入自定义损失层，以在有限时间序列上训练时提升泛化能力并减少过拟合。
• 该架构将来自车内（驾驶员面部、手势）和外部（道路场景、GPS、车辆动态）传感器的特征融合为联合表征，用于操作预测。
• 采用 AIO-HMM（音频-图像-物体隐马尔可夫模型）进行推理，通过前向-后向算法建模驾驶员意图状态并计算操作概率。
• 系统使用面部追踪器提取驾驶员状态特征，并结合外部传感器特征，利用贝叶斯推理（公式 20）计算操作可能性。

实验结果

研究问题

• RQ1 仅使用多模态传感器的部分时间上下文，深度学习模型能否有效预测驾驶员操作？
• RQ2 感官融合的 RNN-LSTM 架构在多样化驾驶条件、路线和驾驶员行为下，其泛化能力如何？
• RQ3 相较于标准面部追踪，使用先进的 3D 面部姿态估计在操作预测中的性能增益有多大？
• RQ4 与单模态方法相比，多模态传感器融合在多大程度上提升了预测准确性？
• RQ5 一个实时端到端系统能否在提前 3.5 秒的情况下，以高精确率和高召回率实现可靠的驾驶操作预测？

主要发现

• 所提出的感官融合 RNN-LSTM 架构在使用先进 3D 面部姿态估计时，可提前 3.5 秒预测驾驶操作，精确率达 90.5%，召回率达 87.4%。
• 在使用基础开箱即用的面部追踪时，系统实现 84.5% 的精确率和 77.1% 的召回率，展现出强大的基线性能。
• 采用新颖的序列到序列训练流程并结合自定义损失层，显著提升了模型的泛化能力与预测准确性。
• 通过联合学习车内与外部感官流，系统在性能上优于以往的单模态方法。
• 发布包含 1180 英里自然驾驶数据的大型数据集，同步包含车内与外部视频、GPS 和车辆动态数据，为未来前瞻性系统的研究与基准测试提供了支持。
• 开源深度学习工具包促进了研究的可复现性，并加速了具备前瞻性能力的下一代 ADAS 的开发。