[论文解读] Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies

Yu Huang, Yue Chen|arXiv (Cornell University)|Jun 10, 2020

Autonomous Vehicle Technology and Safety参考文献 234被引用 34

一句话总结

本综述回顾深度学习方法在自动驾驶中的应用，聚焦感知、地图/定位、预测、规划/控制、仿真、V2X与安全，重点是 2D/3D 目标检测、深度估计以及多传感器融合。

ABSTRACT

Since DARPA Grand Challenges (rural) in 2004/05 and Urban Challenges in 2007, autonomous driving has been the most active field of AI applications. Almost at the same time, deep learning has made breakthrough by several pioneers, three of them (also called fathers of deep learning), Hinton, Bengio and LeCun, won ACM Turin Award in 2019. This is a survey of autonomous driving technologies with deep learning methods. We investigate the major fields of self-driving systems, such as perception, mapping and localization, prediction, planning and control, simulation, V2X and safety etc. Due to the limited space, we focus the analysis on several key areas, i.e. 2D and 3D object detection in perception, depth estimation from cameras, multiple sensor fusion on the data, feature and task level respectively, behavior modelling and prediction of vehicle driving and pedestrian trajectories.

研究动机与目标

• 提供对基于深度学习的自动驾驶技术的全面概述。
• 分析系统的主要组件：感知、地图/定位、预测、规划/控制、仿真、V2X和安全。
• 突出 2D/3D 目标检测、摄像头深度估计以及多传感器融合（特征层面和任务层面）的关键 DL 技术。
• 讨论车辆和行人行为建模与轨迹预测。
• 识别挑战与未来在 DL 驱动的自动驾驶中的潜在方向。

提出的方法

• 对适用于自动驾驶的深度学习方法进行系统文献综述。
• 围绕科领域的核心子系统和焦点主题对讨论进行分类。
• 评估并综合感知方面的进展，包括 2D/3D 目标检测和来自摄像头的深度估计。
• 考察在特征层面和任务层面上的多传感融合方法。
• 总结驾驶场景中代理的行为建模和轨迹预测。

实验结果

研究问题

• RQ1 哪些深度学习方法能够为自动驾驶实现鲁棒的 2D 和 3D 目标检测？
• RQ2 如何在驾驶场景中有效实现摄像头的深度估计？
• RQ3 多传感器融合技术如何应用以改善感知和定位？
• RQ4 如何使用 DL 对车辆和行人轨迹进行建模和预测？
• RQ5 当前自动驾驶领域深度学习面临的挑战与未来方向是什么？

主要发现

• 深度学习在自动驾驶的感知、地图/定位、预测、规划/控制、仿真、V2X和安全等方面具有核心作用。
• 在感知方面，2D/3D 目标检测和来自摄像头的深度估计是关键关注点。
• 在特征层面和任务层面上的多传感融合对于鲁棒的感知与定位至关重要。
• 车辆和行人行为建模与轨迹预测是关键组成部分。
• 本综述识别了持续存在的挑战并概述了未来在自动驾驶领域的潜在 DL 发展方向。