[论文解读] Exploring OpenStreetMap Availability for Driving Environment Understanding

Yang Zheng, Izzat H. Izzat+1 more|arXiv (Cornell University)|Mar 11, 2019

Remote Sensing and LiDAR Applications参考文献 22被引用 8

一句话总结

本文通过利用OpenStreetMap（OSM）属性，结合转向角信号，采用双向循环神经网络（Bi-RNN）识别驾驶事件，并通过融合OSM生成的道路掩码与视觉/激光雷达数据，实现语义分割，探索了OSM在自动驾驶环境理解中的潜力。结果表明，OSM可作为深度学习在自动驾驶中的有效数据源，支持高精度的车道保持与转向检测，并通过多源数据融合提升可行驶空间感知能力。

ABSTRACT

With the great achievement of artificial intelligence, vehicle technologies have advanced significantly from human centric driving towards fully automated driving. An intelligent vehicle should be able to understand the driver's perception of the environment as well as controlling behavior of the vehicle. Since high digital map information has been available to provide rich environmental context about static roads, buildings and traffic infrastructures, it would be worthwhile to explore map data capability for driving task understanding. Alternative to commercial used maps, the OpenStreetMap (OSM) data is a free open dataset, which makes it unique for the exploration research. This study is focused on two tasks that leverage OSM for driving environment understanding. First, driving scenario attributes are retrieved from OSM elements, which are combined with vehicle dynamic signals for the driving event recognition. Utilizing steering angle changes and based on a Bi-directional Recurrent Neural Network (Bi-RNN), a driving sequence is segmented and classified as lane-keeping, lane-change-left, lane-change-right, turn-left, and turn-right events. Second, for autonomous driving perception, OSM data can be used to render virtual street views, represented as prior knowledge to fuse with vision/laser systems for road semantic segmentation. Five different types of road masks are generated from OSM, images, and Lidar points, and fused to characterize the drivable space at the driver's perspective. An alternative data-driven approach is based on a Fully Convolutional Network (FCN), OSM availability for deep learning methods are discussed to reveal potential usage on compensating street view images and automatic road semantic annotation.

研究动机与目标

• 探究OpenStreetMap（OSM）作为商业地图的免费开源替代方案，在驾驶环境理解中的适用性。
• 开发一种结合OSM属性与车辆动态信号的方法，用于识别驾驶事件（如变道和转向）。
• 探索OSM在生成先验道路掩码并融合视觉与激光雷达数据以提升道路语义分割方面的角色。
• 评估OSM在深度学习应用中的可行性，包括补偿缺失的街景图像以及实现自动道路标注。

提出的方法

• 驾驶事件识别采用双向循环神经网络（Bi-RNN），基于转向角变化进行训练，将序列分类为五类：车道保持、向左变道、向右变道、向左转弯和向右转弯。
• 提取OSM中的道路类型、车道数量和转向限制等元素，以推断驾驶场景属性，丰富事件识别的上下文信息。
• 从OSM、RGB图像和激光雷达点云中生成五类道路掩码，通过融合以从驾驶员视角表征可行驶空间。
• 采用全卷积网络（FCN）评估OSM数据在深度学习中的有效性，特别是在语义分割和数据增强方面的应用。
• 将OSM中的先验知识与实时传感器数据（摄像头和激光雷达）融合，以提升道路感知的鲁棒性。
• 利用OSM数据生成合成街景图像，并支持道路语义的自动标注，降低对昂贵人工标注的依赖。

实验结果

研究问题

• RQ1 能否仅通过车辆动态信号与OSM属性，有效支持对变道、转向等驾驶事件的识别？
• RQ2 如何将OSM生成的道路掩码与视觉及激光雷达数据融合，以提升可行驶区域的语义分割性能？
• RQ3 在补偿缺失或不完整的街景图像方面，OSM数据在多大程度上能增强自动驾驶深度学习模型的性能？
• RQ4 OSM能否用于生成先验知识，以提升复杂城市环境中道路语义分割的准确性？
• RQ5 OSM在实现自动驾驶系统中道路环境的自动、数据驱动式标注方面具有多大潜力？

主要发现

• Bi-RNN模型仅依赖转向角数据与OSM衍生属性，即实现了对驾驶事件的准确分类，证明了无需高精地图即可实现事件识别的可行性。
• 将OSM生成的道路掩码与摄像头及激光雷达数据融合，显著提升了对可行驶空间的表征能力，增强了感知鲁棒性。
• 将OSM先验知识整合到语义分割模型中，使不同城市环境中道路边界的检测更加一致且准确。
• OSM数据在补偿缺失或低质量的街景图像方面表现有效，支持深度学习流水线中的数据增强。
• 本研究证实，OSM可作为自动道路语义标注的可行数据源，显著降低对昂贵人工标注的依赖。