[论文解读] Deep Learning and Control Algorithms of Direct Perception for Autonomous Driving

Der‐Hau Lee, Kuan-Lin Chen+3 more|arXiv (Cornell University)|Oct 26, 2019

Autonomous Vehicle Technology and Safety参考文献 28被引用 5

一句话总结

本文提出了一种用于自动驾驶的直接感知框架，该框架使用微调的卷积神经网络（AlexNet 和 GoogLeNet）从单目图像回归驾驶可操作性——包括航向角、与前车的距离以及与道路中心线的距离。该系统在 TORCS 模拟器中将这些预测结果与短程传感器数据整合到控制回路中，与先前方法相比，实现了更高的训练效率和驾驶稳定性。

ABSTRACT

Based on the direct perception paradigm of autonomous driving, we investigate and modify the CNNs (convolutional neural networks) AlexNet and GoogLeNet that map an input image to few perception indicators (heading angle, distances to preceding cars, and distance to road centerline) for estimating driving affordances in highway traffic. We also design a controller with these indicators and the short-range sensor information of TORCS (the open racing car simulator) for driving simulated cars to avoid collisions. We collect a set of images from a TORCS camera in various driving scenarios, train these CNNs using the dataset, test them in unseen traffics, and find that they perform better than earlier algorithms and controllers in terms of training efficiency and driving stability. Source code and data are available on our website.

研究动机与目标

• 开发一种直接感知系统，将原始图像映射为可操作的驾驶指标，以实现自动驾驶控制。
• 在模拟高速公路环境中提升训练效率和驾驶稳定性。
• 将学习到的感知输出与实时传感器数据集成，以实现鲁棒控制。
• 在未见过的交通场景中评估该框架，以评估其泛化能力。
• 提供开源代码和数据集，以支持可复现性及进一步研究。

提出的方法

• 微调预训练的卷积神经网络（AlexNet 和 GoogLeNet），以从图像中回归三种驾驶可操作性：航向角、与前车的距离以及与道路中心线的距离。
• 在各种高速公路驾驶场景下，从 TORCS 模拟器中收集多样化的单目图像数据集。
• 使用收集到的图像-感知配对数据，通过监督学习端到端训练卷积神经网络。
• 设计一种控制器，将 CNN 预测的感知指标与来自 TORCS 的短程传感器数据（如激光雷达或雷达类输入）进行融合。
• 实现一个反馈控制回路，利用融合后的感知信息生成转向和油门指令。
• 在未见过的交通场景中评估系统，以测试其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 微调后的卷积神经网络是否能在直接感知框架中有效从单张图像回归关键驾驶可操作性？
• RQ2 将学习到的感知结果与实时传感器数据集成，是否能提升模拟环境中的控制稳定性？
• RQ3 所提出的系统是否在训练效率和驾驶性能方面优于先前方法？
• RQ4 该模型在训练数据中未出现的未见交通场景中泛化能力如何？
• RQ5 直接感知方法在多大程度上减少了对复杂中间表示的依赖？

主要发现

• 微调后的卷积神经网络（AlexNet 和 GoogLeNet）能够以高精度从单目图像中回归航向角、与前车的距离以及与道路中心线的距离。
• 与早期的直接感知方法相比，该系统在训练过程中表现出更快的收敛速度，证明了更高的训练效率。
• 在 TORCS 模拟器中，驾驶稳定性得到增强，无论在何种交通条件下，碰撞次数更少，轨迹跟踪更平稳。
• 控制器在未见过的交通场景中表现出鲁棒性能，表明感知网络具有强大的泛化能力。
• 将 CNN 预测结果与短程传感器数据融合，显著提升了控制的可靠性和响应速度。
• 作者发布了数据集和源代码，支持可复现性及未来基准测试。