[论文解读] Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey

Pranav Singh Chib, Pravendra Singh|arXiv (Cornell University)|Jul 10, 2023

Traffic Prediction and Management Techniques被引用 9

一句话总结

本综述分析端到端深度学习的自动驾驶，与模块化系统进行对比，并讨论输入/输出模态、学习方法、安全性、可解释性、评估、数据集与未来方向。

ABSTRACT

End-to-End driving is a promising paradigm as it circumvents the drawbacks associated with modular systems, such as their overwhelming complexity and propensity for error propagation. Autonomous driving transcends conventional traffic patterns by proactively recognizing critical events in advance, ensuring passengers' safety and providing them with comfortable transportation, particularly in highly stochastic and variable traffic settings. This paper presents a comprehensive review of the End-to-End autonomous driving stack. It provides a taxonomy of automated driving tasks wherein neural networks have been employed in an End-to-End manner, encompassing the entire driving process from perception to control, while addressing key challenges encountered in real-world applications. Recent developments in End-to-End autonomous driving are analyzed, and research is categorized based on underlying principles, methodologies, and core functionality. These categories encompass sensorial input, main and auxiliary output, learning approaches ranging from imitation to reinforcement learning, and model evaluation techniques. The survey incorporates a detailed discussion of the explainability and safety aspects. Furthermore, it assesses the state-of-the-art, identifies challenges, and explores future possibilities. We maintained the latest advancements and their corresponding open-source implementations at https://github.com/Pranav-chib/Recent-Advancements-in-End-to-End-Autonomous-Driving-using-Deep-Learning.

研究动机与目标

• 将从模块化自动驾驶转向端到端学习的动机，降低误差传播并提升效率。
• 提供神经网络将感知映射到控制的端到端驾驶任务分类。
• 综述模仿学习与强化学习的学习范式及其在端到端驾驶中的适用性。
• 讨论端到端驾驶的安全性、可解释性与评估框架。
• Catalog 数据集与仿真平台，并概述未解决的挑战与未来方向。

提出的方法

• 给出从感知到控制的端到端驾驶任务分类。
• 比较端到端与模块化流水线，概述其优点，如降低误差传播与提升计算效率。
• 回顾输入模态（摄像头、LiDAR、多模态、导航输入）及相应的输出模态（航路点、轨迹、代价地图）。
• 综述学习方法（模仿学习、强化学习及混合方法）及其权衡。
• 讨论端到端驾驶的安全性、可解释性与评估方法，包括开环与闭环评估。
• 提供数据集与仿真器的清单，并提出评估框架。

实验结果

研究问题

• RQ1 端到端深度学习在自动驾驶领域有哪些最新技术？它们与模块化流水线有何不同？
• RQ2 端到端驾驶使用哪些输入/输出模态，这些模态如何影响性能与可解释性？
• RQ3 模仿学习与强化学习在端到端驾驶中的应用及各自的局限性？
• RQ4 哪些安全性、可解释性和评估策略对端到端驾驶系统是有效的？
• RQ5 哪些数据集与仿真器支持端到端自动驾驶研究，它们如何用于基准测试？

主要发现

• 与模块化栈相比，端到端驾驶可降低误差传播并提升计算效率。
• 通过辅助输出、注意力图和可解释地图，端到端模型的可解释性得到提升。
• 端到端方法通过使触发条件识别与传播路径变得复杂，从而提高对抗性攻击的鲁棒性。
• 模仿学习数据效率高但存在分布漂移问题；强化学习能够进行探索但可能样本效率低。
• 多模态输入（摄像头、LiDAR、深度）及融合表示提升感知与决策。
• 输出模态包括航路点、轨迹和辅助地图等多种形式，通常与 MPC 或 PID 控制器结合使用。