[论文解读] End-to-end Autonomous Driving using Deep Learning: A Systematic Review

Apoorv Singh|arXiv (Cornell University)|Aug 27, 2023

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本篇系统性综述综合了基于深度学习的端到端自动驾驶的最新进展，重点关注模仿学习、强化学习、辅助任务学习以及教师-学生框架。该综述提供了方法的全面分类体系，突出强调了安全性（特别是在长尾场景下）和可解释性等关键挑战，并提出了未来研究方向，如协作学习、基于扩散模型的仿真，以及基础模型以提升泛化能力和实际部署性能。

ABSTRACT

End-to-end autonomous driving is a fully differentiable machine learning system that takes raw sensor input data and other metadata as prior information and directly outputs the ego vehicle's control signals or planned trajectories. This paper attempts to systematically review all recent Machine Learning-based techniques to perform this end-to-end task, including, but not limited to, object detection, semantic scene understanding, object tracking, trajectory predictions, trajectory planning, vehicle control, social behavior, and communications. This paper focuses on recent fully differentiable end-to-end reinforcement learning and deep learning-based techniques. Our paper also builds taxonomies of the significant approaches by sub-grouping them and showcasing their research trends. Finally, this survey highlights the open challenges and points out possible future directions to enlighten further research on the topic.

研究动机与目标

• 提供基于深度学习和强化学习的端到端自动驾驶技术的全面、最新调研。
• 将近期方法归类为四大主要范式：模仿学习、强化学习、带辅助任务的端到端学习（如感知、预测），以及教师-学生蒸馏框架。
• 识别端到端系统中在安全性、可解释性、迁移学习以及人车交互方面存在的开放性挑战。
• 提出未来研究方向，包括协作式端到端学习、利用扩散模型实现从文本到场景的生成，以及借助基础模型提升泛化能力。
• 通过聚焦最新前沿进展并排除过时或部分覆盖的方法，弥合现有综述之间的差距。

提出的方法

• 本文对近期端到端自动驾驶系统进行了系统性文献综述，重点关注通过模仿学习或强化学习训练的完全可微分模型。
• 提出一种分类体系，将方法划分为四类：模仿学习、强化学习、带辅助任务的端到端学习（如感知、预测），以及教师-学生蒸馏。
• 综述中纳入了理论基础，包括输入-输出映射的数学表述：$ X o Y $，其中 $ X $ 为原始传感器数据（摄像头、激光雷达、IMU、GPS、高精地图），$ Y $ 为控制输出（转向、油门、制动）。
• 分析关键损失函数，包括结合感知（分类、回归、IoU）与规划（最大间隔损失）的多任务损失，以指导特征学习并提升可解释性。
• 评估端到端学习中使用的基准和数据集，强调来自人类驾驶车辆的大规模、低标注成本数据，配备校准的传感器套件。
• 提出未来的方法论方向，如利用扩散模型生成罕见故障场景，以及借助在多样化驾驶数据上预训练的基础模型，以提升零样本泛化能力。

实验结果

研究问题

• RQ1 在特征学习与系统优化方面，端到端深度学习模型与传统模块化流水线有何不同？
• RQ2 近期端到端自动驾驶研究中的主导范式是什么？它们在性能与可扩展性方面如何比较？
• RQ3 在部署端到端系统时面临的关键挑战是什么，特别是在处理长尾场景、确保安全性以及保持可解释性方面？
• RQ4 辅助任务（如目标检测、深度估计）如何提升端到端驾驶策略的性能与鲁棒性？
• RQ5 新兴技术（如扩散模型和基础模型）如何被利用以克服当前在数据效率与真实世界泛化能力方面的局限？

主要发现

• 端到端系统通过联合优化感知、规划与控制的特征，超越了模块化流水线，减少了对手工设计启发式方法的依赖。
• 基于模仿学习的模型（如受ALVINN和Nvidia早期网络启发的模型）仅使用摄像头和激光雷达输入，即可在多种条件下实现车道保持。
• 基于强化学习的方法（如Wayve的系统）可仅通过10次示范视频就学习到有效策略，展现出强大的样本效率。
• 通过辅助监督（如目标检测、运动预测）进行多任务训练，可改善特征学习，并借助最大间隔损失等损失函数，实现可解释的网络输出。
• 扩散模型在生成罕见或易出故障的驾驶场景方面展现出潜力，有助于在长尾边缘案例上进行更鲁棒的训练。
• 在大规模驾驶数据上预训练的基础模型，有望显著提升零样本泛化能力，并增强从仿真到真实世界部署的迁移性能。