[论文解读] Level 2 Autonomous Driving on a Single Device: Diving into the Devils of Openpilot

Li Chen, Tutian Tang+7 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文逆向工程了 Comma.ai 的 Openpilot，这是一个运行在单台 999 美元设备上的端到端 L2 级自动驾驶系统，仅配备单目摄像头。通过将 Supercombo 模型重新实现为 OP-Deepdive，并在双模型架构中与原始模型并行部署，作者证明了仅使用低成本单台设备的系统可在公共基准测试和真实道路测试中实现与原始系统相当的性能，验证了面向消费级 L2 自动驾驶的端到端学习的可行性。

ABSTRACT

Equipped with a wide span of sensors, predominant autonomous driving solutions are becoming more modular-oriented for safe system design. Though these sensors have laid a solid foundation, most massive-production solutions up to date still fall into L2 phase. Among these, Comma.ai comes to our sight, claiming one $999 aftermarket device mounted with a single camera and board inside owns the ability to handle L2 scenarios. Together with open-sourced software of the entire system released by Comma.ai, the project is named Openpilot. Is it possible? If so, how is it made possible? With curiosity in mind, we deep-dive into Openpilot and conclude that its key to success is the end-to-end system design instead of a conventional modular framework. The model is briefed as Supercombo, and it can predict the ego vehicle's future trajectory and other road semantics on the fly from monocular input. Unfortunately, the training process and massive amount of data to make all these work are not publicly available. To achieve an intensive investigation, we try to reimplement the training details and test the pipeline on public benchmarks. The refactored network proposed in this work is referred to as OP-Deepdive. For a fair comparison of our version to the original Supercombo, we introduce a dual-model deployment scheme to test the driving performance in the real world. Experimental results on nuScenes, Comma2k19, CARLA, and in-house realistic scenarios verify that a low-cost device can indeed achieve most L2 functionalities and be on par with the original Supercombo model. In this report, we would like to share our latest findings, shed some light on the new perspective of end-to-end autonomous driving from an industrial product-level side, and potentially inspire the community to continue improving the performance. Our code, benchmarks are at https://github.com/OpenPerceptionX/Openpilot-Deepdive.

研究动机与目标

• 研究 Comma.ai 的 Openpilot 如何在仅配备单目摄像头的单台低成本设备上实现 L2 级自动驾驶。
• 逆向工程并从零开始重新实现 Supercombo 端到端模型，以理解其架构与训练过程。
• 在公共基准测试和真实道路驾驶场景中评估重新实现模型（OP-Deepdive）的性能。
• 开发并验证一种双模型部署方案，以实现原始 Supercombo 模型与重新实现的 OP-Deepdive 模型之间的公平比较。
• 为端到端自动驾驶带来的挑战提供洞见，包括调试、模仿学习指标以及系统级集成。

提出的方法

• 使用公开数据集（nuScenes、Comma2k19）和内部上海驾驶数据，将 Supercombo 模型重新实现为 OP-Deepdive。
• 采用模仿学习训练并评估 OP-Deepdive，使用两个指标：平均欧氏距离误差和轨迹预测的平均精确度。
• 在 Openpilot 系统中以双模型框架部署 OP-Deepdive 和原始 Supercombo 模型，以实现实验室环境下的真实世界对比。
• 在 CARLA 模拟器和真实车辆上进行受控测试，以在相同条件下评估驾驶性能。
• 使用 WARP 机制通过模拟不同摄像头视角来增强单目数据，提升训练过程中的泛化能力。
• 将重新实现的模型集成到现有的 Openpilot 软件栈中，以保持模块化和系统兼容性。

实验结果

研究问题

• RQ1 仅配备单目摄像头的单台低成本设备能否实现稳健的 L2 级自动驾驶性能？
• RQ2 在真实道路驾驶场景中，Openpilot 的 Supercombo 模型的端到端设计与传统模块化自动驾驶架构相比表现如何？
• RQ3 重新实现的 Supercombo 版本（OP-Deepdive）在公共基准测试和真实道路测试中，能在多大程度上匹配原始模型的性能？
• RQ4 在感知与规划模块融合的情况下，调试和评估端到端自动驾驶模型面临哪些关键挑战？
• RQ5 双模型部署方案在生产级系统中，对于实现对重新实现模型的公平、真实世界评估有多有效？

主要发现

• OP-Deepdive 在 nuScenes 和 Comma2k19 基准测试中与原始 Supercombo 模型表现相当，轨迹预测精度相似。
• 在 CARLA 模拟中，双模型设置证实 OP-Deepdive 在安全性与轨迹保持方面与原始 Supercombo 表现相当。
• 上海的真实道路测试表明，OP-Deepdive 能够成功处理大多数常见的 L2 驾驶场景，包括车道保持和自适应巡航控制。
• 双模型部署方案在真实世界评估中有效，使在相同条件下对原始模型与重新实现模型进行直接比较成为可能。
• 本研究证实，仅使用单目摄像头的端到端学习在低成本硬件上实现 L2 自动驾驶是可行的，挑战了关于传感器与计算资源需求的传统假设。
• nuScenes 与 Comma2k19 等数据集之间的性能差距仍未得到解释，表明领域偏移或数据分布差异可能影响模型泛化能力。