[论文解读] RoadTracer: Automatic Extraction of Road Networks from Aerial Images

Favyen Bastani, Songtao He+6 more|arXiv (Cornell University)|Feb 11, 2018

Automated Road and Building Extraction被引用 26

一句话总结

RoadTracer 提出了一种新颖的端到端深度学习方法，通过使用 CNN 引导的搜索迭代添加道路线段，直接从航空影像构建道路网络图，绕过了噪声较大的像素级分割和复杂的后处理步骤。在 15 个城市上的评估显示，与基于分割的基线方法相比，其在 5% 错误率下的路口召回率提高了 45%，证明了其在处理遮挡和复杂拓扑结构方面的优越准确性。

ABSTRACT

Mapping road networks is currently both expensive and labor-intensive. High-resolution aerial imagery provides a promising avenue to automatically infer a road network. Prior work uses convolutional neural networks (CNNs) to detect which pixels belong to a road (segmentation), and then uses complex post-processing heuristics to infer graph connectivity. We show that these segmentation methods have high error rates because noisy CNN outputs are difficult to correct. We propose RoadTracer, a new method to automatically construct accurate road network maps from aerial images. RoadTracer uses an iterative search process guided by a CNN-based decision function to derive the road network graph directly from the output of the CNN. We compare our approach with a segmentation method on fifteen cities, and find that at a 5% error rate, RoadTracer correctly captures 45% more junctions across these cities.

研究动机与目标

• 解决现有道路网络制图方法因基于 CNN 的像素级分割噪声和启发式后处理导致的高错误率问题。
• 开发一种直接的端到端方法，无需依赖中间分割输出，直接从航空影像构建道路网络图。
• 提升在树木、建筑物和阴影遮挡等复杂条件下道路网络推断的准确性。
• 实现完全自动化、可扩展的地图构建，适用于城市和复杂环境的大规模部署。

提出的方法

• RoadTracer 使用迭代图构建过程，每次添加一条道路线段，由一个训练有素的 CNN 决策函数指导，以预测下一个最优线段。
• CNN 通过一种动态标注程序进行训练，该程序在训练过程中随着部分道路网络的演化实时生成训练样本。
• 该方法通过直接建模图的拓扑结构，避免了中间分割步骤，消除了对阈值设定、形态学操作和启发式连接规则的依赖。
• 一个行走-停止动作阈值 $T$ 控制搜索过程，在最终推断图的召回率和错误率之间实现平衡。
• 该方法借鉴强化学习的监督训练框架，但通过动态样本生成保持了高效性。
• 模型在 25 个城市上进行训练，并在 15 个完全不同的城市上进行评估，以确保泛化能力并避免数据泄露。

实验结果

研究问题

• RQ1 深度学习模型是否能够直接从航空影像构建准确的道路网络图，而无需依赖中间的像素级分割？
• RQ2 与基于分割的方法相比，迭代图构建方法在路口准确率和错误率方面的表现如何？
• RQ3 CNN 引导的搜索过程在处理遮挡和复杂道路拓扑（如平行道路和多层立交）方面的能力有多大？
• RQ4 动态训练样本生成是否能提升在输入状态随时间演变的端到端图构建任务中的模型性能？
• RQ5 该方法在图像质量与道路复杂度各异的城市环境中，其可扩展性如何？

主要发现

• 在 5% 的平均错误率下，RoadTracer 比基于分割的方法多捕获 45% 的路口，路口召回率达到 0.58，而基于分割的方法仅为 0.40。
• 在 5%–10% 的错误率范围内，RoadTracer 显著优于基于分割的方法，该范围代表了大多数实际应用的最优权衡。
• 基于分割的方法因 CNN 输出中的噪声而产生高错误率，导致错误的路径连接以及推断图中路径长度短于真实最短路径。
• 作为强基线的 DeepRoadMapper 在测试集上的平均错误率无法低于 19%，表明其在处理遮挡和复杂拓扑方面存在局限。
• 在 TOPO 指标上，RoadTracer 的错误率低于基于分割的方法，直至召回率达到 0.43；当召回率进一步提高时，其性能仅出现轻微下降。
• 定性结果显示，RoadTracer 在建筑物和阴影导致严重遮挡的区域（尤其是芝加哥和波士顿）更好地保持了连通性，而基于分割的方法则引入了虚假线段。