[论文解读] An Empirical Evaluation of Deep Learning on Highway Driving

Brody Huval, Tao Wang+11 more|arXiv (Cornell University)|Apr 7, 2015

Autonomous Vehicle Technology and Safety参考文献 20被引用 409

一句话总结

本文使用大规模数据集对高速公路驾驶中的深度学习进行了评估，该数据集包含17,000帧带车辆标注的图像和616,000帧带车道标记的图像。模型基于摄像头、激光雷达、雷达和GPS数据进行训练，单阶段卷积神经网络检测器实现了44 Hz的实时性能，对50米以内自车道检测的F1分数达到100%，展示了在自动驾驶系统中的巨大潜力。

ABSTRACT

Numerous groups have applied a variety of deep learning techniques to computer vision problems in highway perception scenarios. In this paper, we presented a number of empirical evaluations of recent deep learning advances. Computer vision, combined with deep learning, has the potential to bring about a relatively inexpensive, robust solution to autonomous driving. To prepare deep learning for industry uptake and practical applications, neural networks will require large data sets that represent all possible driving environments and scenarios. We collect a large data set of highway data and apply deep learning and computer vision algorithms to problems such as car and lane detection. We show how existing convolutional neural networks (CNNs) can be used to perform lane and vehicle detection while running at frame rates required for a real-time system. Our results lend credence to the hypothesis that deep learning holds promise for autonomous driving.

研究动机与目标

• 评估深度学习在实时高速公路感知任务（如车道和车辆检测）中的可行性。
• 构建一个大规模、多样化的高速公路驾驶场景数据集，对车道和车辆进行精确标注。
• 证明现有的卷积神经网络（CNN）能够在自动驾驶感知任务中实现鲁棒且实时的性能。
• 从精确度、召回率和深度估计精度方面，对比基于深度学习的检测方法与传统雷达系统的性能。
• 通过为视频序列收集帧级标注，为未来的时间建模研究提供支持。

提出的方法

• 使用同步的摄像头、激光雷达、雷达和GPS传感器，收集了17,000帧带有车辆边界框标注的图像帧，以及616,000帧带有车道标记的图像帧。
• 训练了一个单阶段卷积神经网络（CNN），在一次前向传播中端到端检测车道和车辆。
• 使用交并比（IoU）≥ 0.5作为车辆检测评估的匹配标准，真实标签由Amazon Mechanical Turk提供。
• 使用三维空间阈值评估车道检测：若预测值与真实值差异小于0.5米，则判定为真正例。
• 将检测性能与Continental中端雷达系统进行对比，使用雷达回波作为深度和位置的真实标签。
• 基于Caffe框架，在GitHub上开源了车辆和车道检测器的代码。

实验结果

研究问题

• RQ1 预训练和微调后的CNN能否在高速公路驾驶数据上实现实时、高精度的车道和车辆检测？
• RQ2 基于深度学习的检测方法在精确度、召回率和深度估计方面与传统雷达系统相比表现如何？
• RQ3 该网络在过街天桥、阴影和天气变化等不同条件下的泛化能力如何？
• RQ4 在50米以外，图像分辨率和距离对车道检测精度有何影响？
• RQ5 单一CNN模型能否同时以足够速度和精度检测车道和车辆，以满足实时部署需求？

主要发现

• 自车道边界检测系统在50米范围内实现了100%的F1分数，超过65米后性能下降，主要受限于图像分辨率。
• 由于立交桥和阴影效应导致的误报，近距离物体的车辆检测召回率显著下降，这是主要的错误来源。
• 深度学习检测器在单张GTX 780 Ti显卡上运行速度达到44 Hz，满足自动驾驶系统的实时性要求。
• 与雷达相比，深度学习模型在召回率（85.4%）方面表现更优，同时保持了98.5%的精确度，尽管雷达在比较中精确度为100%，但深度学习模型在F1分数上仍更优。
• 车辆深度预测的标准误差在不同距离下均保持较低水平，表明模型具有可靠的深度估计性能。
• 定性视频结果显示，该系统在多种高速公路条件下均能稳健检测车辆和车道，但因仅使用后向车辆进行训练，未能检测到迎面而来的车辆。