[论文解读] Automated Detecting and Placing Road Objects from Street-level Images

Chaoquan Zhang, Hongchao Fan+3 more|arXiv (Cornell University)|Aug 29, 2019

Automated Road and Building Extraction参考文献 50被引用 8

一句话总结

本文提出了一种深度学习流水线，通过使用两个卷积神经网络进行语义分割和目标检测，并结合属性拓扑二叉树（ATBT）来建模空间关系并匹配至OpenStreetMap（OSM）要素，从而自动检测并定位街景图像中的道路对象（如交通标志和信号灯）。在柏林的案例研究中，该方法实现了高精度的位置定位和完整性，能够精确绘制道路交叉口的地图。

ABSTRACT

Navigation services utilized by autonomous vehicles or ordinary users require the availability of detailed information about road-related objects and their geolocations, especially at road intersections. However, these road intersections are mainly represented as point elements without detailed information, or are even not available in current versions of crowdsourced mapping databases including OpenStreetMap(OSM). This study develops an approach to automatically detect road objects and place them to right location from street-level images. Our processing pipeline relies on two convolutional neural networks: the first segments the images, while the second detects and classifies the specific objects. Moreover, to locate the detected objects, we establish an attributed topological binary tree(ATBT) based on urban grammar for each image to depict the coherent relations of topologies, attributes and semantics of the road objects. Then the ATBT is further matched with map features on OSM to determine the right placed location. The proposed method has been applied to a case study in Berlin, Germany. We validate the effectiveness of our method on two object classes: traffic signs and traffic lights. Experimental results demonstrate that the proposed approach provides near-precise localization results in terms of completeness and positional accuracy. Among many potential applications, the output may be combined with other sources of data to guide autonomous vehicles

研究动机与目标

• 为解决众包地图（如OpenStreetMap）中道路交叉口缺乏详细且带地理坐标的道路对象数据的问题。
• 开发一种全自动系统，仅使用街景图像即可检测并准确放置道路对象。
• 通过在地图数据库中集成语义和空间上准确的道路对象数据，提升自动驾驶车辆和普通用户导航服务的性能。
• 利用属性拓扑二叉树（ATBT）建模道路对象之间的复杂拓扑和语义关系。

提出的方法

• 采用两阶段卷积神经网络（CNN）流水线：第一阶段用于街景图像的语义分割，第二阶段用于目标检测与分类。
• 为每张图像构建一个属性拓扑二叉树（ATBT），以编码检测到的道路对象的拓扑结构、空间属性和语义关系。
• ATBT能够捕捉对象之间的层次结构和关系信息，例如相对位置和在交叉口的功能角色。
• 通过基于相似度的匹配算法，将ATBT与现有的OpenStreetMap（OSM）要素进行匹配，以准确分配检测到的对象的地理坐标。
• 该方法利用城市语法规则来建模城市场景中道路对象的合理空间配置。
• 系统在德国柏林的真实世界案例研究中进行了评估，重点关注交通标志和交通信号灯。

实验结果

研究问题

• RQ1 街景图像能否被有效用于以高精度检测并定位交通标志和信号灯等道路对象？
• RQ2 如何建模道路对象之间的拓扑和语义关系以提高定位精度？
• RQ3 属性拓扑二叉树（ATBT）在多大程度上能提升检测对象与OSM中现有地图要素的匹配效果？
• RQ4 与现有制图方法相比，该方法在复杂交叉口处的完整性和位置精度方面表现如何？

主要发现

• 所提出的方法在定位交通标志和交通信号灯方面实现了高精度，结果表明其相对于OSM地图要素的定位近乎精确。
• 基于ATBT的建模显著提升了对象匹配的鲁棒性，通过编码空间和语义关系，减少了定位误差。
• 该系统在检测道路对象方面表现出高完整性，尤其在传统制图常缺乏细节的复杂城市交叉口区域。
• 柏林的案例研究证实了该方法在真实环境下的有效性，成功检测并定位了交通标志和交通信号灯。
• 将基于CNN的检测与拓扑推理相结合，即使在缺乏或不精确的GPS数据条件下，也能实现可靠的地理定位。