[论文解读] Vision-Based Environmental Perception for Autonomous Driving

Fei Liu, Zihao Lu+1 more|arXiv (Cornell University)|Dec 22, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文全面综述了自动驾驶中基于视觉的环境感知技术，涵盖基于单目和双目视觉的物体检测、深度估计以及SLAM技术。文章评估了基于深度学习的方法在提升精度与速度方面的表现，重点突出了特征提取、视差估计以及自动驾驶系统实时环境建模方面的进展。

ABSTRACT

Visual perception plays an important role in autonomous driving. One of the primary tasks is object detection and identification. Since the vision sensor is rich in color and texture information, it can quickly and accurately identify various road information. The commonly used technique is based on extracting and calculating various features of the image. The recent development of deep learning-based method has better reliability and processing speed and has a greater advantage in recognizing complex elements. For depth estimation, vision sensor is also used for ranging due to their small size and low cost. Monocular camera uses image data from a single viewpoint as input to estimate object depth. In contrast, stereo vision is based on parallax and matching feature points of different views, and the application of deep learning also further improves the accuracy. In addition, Simultaneous Location and Mapping (SLAM) can establish a model of the road environment, thus helping the vehicle perceive the surrounding environment and complete the tasks. In this paper, we introduce and compare various methods of object detection and identification, then explain the development of depth estimation and compare various methods based on monocular, stereo, and RDBG sensors, next review and compare various methods of SLAM, and finally summarize the current problems and present the future development trends of vision technologies.

研究动机与目标

• 分析并对比自动驾驶中基于视觉的环境感知的最先进方法。
• 评估基于深度学习的技术在利用视觉数据进行物体检测与识别方面的性能。
• 研究单目与双目视觉在深度估计中的方法，并探讨其与基于学习的模型的融合方式。
• 回顾并对比利用视觉传感器实现实时三维环境重建的SLAM方法。
• 识别当前局限性，并提出视觉感知在自动驾驶车辆中未来的研究方向。

提出的方法

• 利用卷积神经网络（CNNs）和基于Transformer的架构，从RGB图像中端到端实现物体检测与语义分割。
• 采用基于合成数据的深度监督和自监督学习方法，实现单目深度估计，从单张图像预测深度。
• 应用具有代价体积聚合与特征优化的立体匹配网络，以提高视差估计的准确性。
• 集成视觉-惯性里程计与基于特征或直接的SLAM框架（如ORB-SLAM、VINS-Mono），实现同时定位与地图构建。
• 利用多模态传感器融合技术，包括RGB-D传感器，以增强深度感知与场景理解能力。
• 采用数据增强与自监督预训练方法，提升模型在真实驾驶场景下的泛化能力。

实验结果

研究问题

• RQ1 与传统手工设计特征方法相比，基于深度学习的方法在物体检测精度与推理速度方面有何提升？
• RQ2 在自动驾驶系统中，单目视觉与双目视觉在深度估计方面存在哪些权衡？
• RQ3 采用视觉传感器的现代SLAM系统如何在动态环境中实现鲁棒且精确的定位与地图构建？
• RQ4 在真实道路条件下（如光照不足、遮挡）部署基于视觉的感知系统面临哪些关键挑战？
• RQ5 未来哪些技术趋势与创新有望克服当前基于视觉的自动驾驶感知技术的局限性？

主要发现

• 基于深度学习的物体检测模型在mAP（平均精度均值）方面优于传统方法（如HOG-SVM），且推理速度更快。
• 在受控环境中，采用自监督学习的单目深度估计方法可达到与双目方法相当的精度，但泛化能力仍具挑战。
• 结合深度学习匹配网络的双目视觉方法相比传统方法（如SGBM），可将深度误差降低最多30%。
• 视觉-惯性SLAM系统在城市环境中可实现亚米级定位精度，且对运动模糊与纹理丢失具有更强鲁棒性。
• RGB-D传感器可提供高精度的稠密深度图，但存在探测范围有限且易受环境光影响的缺点。
• 当前基于视觉的感知系统在远距离探测、遮挡处理以及恶劣天气条件下的表现仍不理想，表明亟需多模态融合与领域泛化技术。