[论文解读] End-To-End Planning of Autonomous Driving in Industry and Academia: 2022-2023

Gongjin Lan an Qi Hao, Hao, Qi|arXiv (Cornell University)|Dec 26, 2023

Robotic Path Planning Algorithms被引用 4

一句话总结

本文对2022–2023年期间自动驾驶端到端运动规划技术进行了全面且最新的综述，涵盖工业界系统（Tesla FSD V12、Momenta、Horizon Robotics、Motional、Woven Planet）以及领先的学术方法（UniAD、NTU规划、nuPlan挑战赛优胜者）。文章强调了基于鸟瞰图（BEV）的占用网络、基于逆强化学习的人类行为模仿，以及融合学习预测的混合规划方法，表明端到端系统如今已在nuPlan等真实世界基准测试中达到最先进性能。

ABSTRACT

This paper aims to provide a quick review of the methods including the technologies in detail that are currently reported in industry and academia. Specifically, this paper reviews the end-to-end planning, including Tesla FSD V12, Momenta 2023, Horizon Robotics 2023, Motional RoboTaxi 2022, Woven Planet (Toyota): Urban Driver, and Nvidia. In addition, we review the state-of-the-art academic studies that investigate end-to-end planning of autonomous driving. This paper provides readers with a concise structure and fast learning of state-of-the-art end-to-end planning for 2022-2023. This article provides a meaningful overview as introductory material for beginners to follow the state-of-the-art end-to-end planning of autonomous driving in industry and academia, as well as supplementary material for advanced researchers.

研究动机与目标

• 提供截至2022–2023年的自动驾驶端到端运动规划技术的简明、结构化概述。
• 通过总结产业界与学术界的关键创新，弥合两者之间的差距。
• 为自动驾驶领域的初学者提供入门资源，同时为高级研究人员提供补充材料。
• 分析并比较领先企业（Tesla、Momenta、Horizon、Motional、Woven Planet）与顶尖学术成果（UniAD、NTU、nuPlan挑战赛）的最先进解决方案。
• 突出诸如基于鸟瞰图（BEV）的规划、占用预测以及基于逆强化学习（IRL）的人类行为决策等趋势。

提出的方法

• 本文综合了口头报告、视频和技术报告中的现有信息，重建了产业界端到端规划系统的架构，特别是Tesla FSD V12，其采用基于鸟瞰图（BEV）的占用网络实现感知与规划。
• 回顾了学术方法，如UniAD，该方法采用统一的Transformer架构，利用鸟瞰图（BEV）特征与条件化运动预测，实现预测与规划的联合建模。
• NTU规划方法采用三模块框架：行为生成、基于本车规划的其他交通参与者轨迹条件化预测，以及通过最大熵逆强化学习进行评分。
• nuPlan挑战赛2023年优胜方法结合了闭环规划器（PDM-Closed）与混合模型（PDM-Hybrid），后者将IDM模型与学习到的本车预测相结合，提升了长期轨迹预测的准确性。
• 本文基于系统对鸟瞰图（BEV）表示、占用预测、多传感器融合以及交互行为建模的整合程度对各类系统进行评估。
• 通过结构化汇总表格（表I）对比各类解决方案，内容包括源代码可获得性、发表状态及性能基准。

实验结果

研究问题

• RQ1 像Tesla FSD V12和Momenta这样的领先工业系统，如何在不依赖传统模块化流水线的前提下实现端到端规划？
• RQ2 学术模型如UniAD和NTU规划的关键架构与技术革新是什么，使其能够实现类人、交互式的运动规划？
• RQ3 基于鸟瞰图（BEV）与占用网络的端到端系统如何降低对高精地图的依赖，并提升多传感器融合能力？
• RQ4 逆强化学习（IRL）在使自动驾驶决策与人类驾驶行为保持一致方面发挥何种作用？
• RQ5 如PDM-Hybrid这样的混合规划方法，如何在学习组件与经典控制模型之间实现平衡，从而在真实场景中实现鲁棒性与高性能？

主要发现

• Tesla FSD V12采用基于鸟瞰图（BEV）的端到端规划系统，利用占用网络，但其详细技术规格在很大程度上仍未公开。
• UniAD在CVPR 2023上荣获最佳论文奖，展示了基于统一Transformer架构与条件化运动预测的端到端规划技术的最先进性能。
• nuPlan规划挑战赛2023年优胜方法PDM-Hybrid通过结合学习到的本车预测模块与IDM模型，在长期规划中实现了高精度，优于其他竞争者。
• NTU规划框架通过条件化预测与最大熵逆强化学习，生成类人行为，通过联合轨迹建模提升了规划评估质量。
• Horizon Robotics的端到端系统在CVPR 2023 E2EAD研讨会上被评为荣誉提名奖，凸显其在真实世界规划基准测试中的优异表现。
• Woven Planet的Urban Driver在该领域仍是广为人知的基线系统，为评估新型端到端规划系统提供了重要参考。