[论文解读] MIT Autonomous Vehicle Technology Study: Large-Scale Deep Learning Based Analysis of Driver Behavior and Interaction with Automation

Lex Fridman, Daniel E. Brown+16 more|arXiv (Cornell University)|Nov 19, 2017

Autonomous Vehicle Technology and Safety被引用 76

一句话总结

本研究通过25辆配备传感器的车辆，在真实世界环境中开展大规模数据采集，以分析自动驾驶中的“人-自动化”交互。通过采集高清视频、CAN总线、GPS和IMU等多种模态的数据，覆盖7,146天驾驶记录和275,589英里行驶里程，研究利用深度学习提取行为洞察，贡献了一个丰富的数据集和计算机视觉处理流程，以理解真实环境下驾驶员的参与度与对自动化系统的依赖程度。

ABSTRACT

Today, and possibly for a long time to come, the full driving task is too complex an activity to be fully formalized as a sensing-acting robotics system that can be explicitly solved through model-based and learning-based approaches in order to achieve full unconstrained vehicle autonomy. Localization, mapping, scene perception, vehicle control, trajectory optimization, and higher-level planning decisions associated with autonomous vehicle development remain full of open challenges. This is especially true for unconstrained, real-world operation where the margin of allowable error is extremely small and the number of edge-cases is extremely large. Until these problems are solved, human beings will remain an integral part of the driving task, monitoring the AI system as it performs anywhere from just over 0% to just under 100% of the driving. The governing objectives of the MIT Autonomous Vehicle Technology (MIT-AVT) study are to (1) undertake large-scale real-world driving data collection, and (2) gain a holistic understanding of how human beings interact with vehicle automation technology. In pursuing these objectives, we have instrumented 21 Tesla Model S and Model X vehicles, 2 Volvo S90 vehicles, and 2 Range Rover Evoque vehicles for both long-term (over a year per driver) and medium term (one month per driver) naturalistic driving data collection. The recorded data streams include IMU, GPS, CAN messages, and high-definition video streams of the driver face, the driver cabin, the forward roadway, and the instrument cluster. The study is on-going and growing. To date, we have 78 participants, 7,146 days of participation, 275,589 miles, and 3.5 billion video frames. This paper presents the design of the study, the data collection hardware, the processing of the data, and the computer vision algorithms currently being used to extract actionable knowledge from the data.

研究动机与目标

• 在自然条件下收集大规模真实世界驾驶数据，以研究人类与车辆自动化系统的交互。
• 理解驾驶员在不同自动化水平下如何监控和响应自动驾驶系统。
• 开发并验证基于计算机视觉与数据处理流程的算法，以从多模态传感器数据中提取行为与交互指标。
• 构建可扩展的长期数据基础设施，支持在非受控环境中对驾驶员行为与自动化信任度的研究。

提出的方法

• 对21辆特斯拉Model S/X、2辆沃尔沃S90和2辆揽胜 Evoque进行改装，配备GPS、IMU、CAN总线和高清视频传感器。
• 从78名参与者处采集长期（一年以上）和中期（一个月）的自然驾驶数据。
• 利用计算机视觉算法处理35亿帧视频和275,589英里驾驶数据，提取驾驶员状态与行为。
• 应用深度学习模型分析驾驶员面部、车内、前方道路和仪表盘视频流，以检测行为模式。
• 将IMU、GPS、CAN等传感器数据流与视频数据同步，实现多模态行为分析。
• 设计可扩展的数据处理流程，支持在真实驾驶环境中持续进行数据采集与分析。

实验结果

研究问题

• RQ1 在真实世界、非受控的驾驶环境中，驾驶员如何与自动驾驶系统建立联系并脱离？
• RQ2 在手动与自动化驾驶模式切换过程中，驾驶员的行为模式如何表现？
• RQ3 在不同自动化等级和驾驶场景下，驾驶员注意力与工作负荷如何变化？
• RQ4 长期使用中，自动化麻痹或过度依赖的关键指标是什么？
• RQ5 如何有效融合多模态传感器数据以推断驾驶员状态与交互动态？

主要发现

• 本研究共收集7,146天驾驶数据、275,589英里行驶里程及35亿帧视频，覆盖78名参与者及多种车型平台。
• 已创建一个全面的多模态数据集，整合高清视频、CAN总线、GPS与IMU数据，支持整体行为分析。
• 基于深度学习的计算机视觉算法成功从复杂的真实驾驶视频流中提取可操作的洞察。
• 数据采集基础设施支持在自然条件下对驾驶员行为进行长期、连续的监测。
• 本研究提供了一个可扩展的框架，支持对人-自动化交互的持续数据获取与分析。
• 数据集与处理流程已公开，可供研究使用，推动对自动驾驶车辆中驾驶员行为的广泛研究。