[论文解读] Sat2Graph: Road Graph Extraction through Graph-Tensor Encoding

Songtao He, Favyen Bastani+7 more|arXiv (Cornell University)|Jul 19, 2020

Automated Road and Building Extraction参考文献 36被引用 7

一句话总结

Sat2Graph 提出了一种统一的深度学习框架，用于从卫星图像中提取道路图，通过引入图张量编码（GTE），将道路网络转换为可微分的张量表示。该方法使非循环、有监督的模型能够直接预测丰富的结构特征，在拓扑和APLS指标上优于先前方法，且原生支持如高架桥等叠置道路的处理。

ABSTRACT

Inferring road graphs from satellite imagery is a challenging computer vision task. Prior solutions fall into two categories: (1) pixel-wise segmentation-based approaches, which predict whether each pixel is on a road, and (2) graph-based approaches, which predict the road graph iteratively. We find that these two approaches have complementary strengths while suffering from their own inherent limitations. In this paper, we propose a new method, Sat2Graph, which combines the advantages of the two prior categories into a unified framework. The key idea in Sat2Graph is a novel encoding scheme, graph-tensor encoding (GTE), which encodes the road graph into a tensor representation. GTE makes it possible to train a simple, non-recurrent, supervised model to predict a rich set of features that capture the graph structure directly from an image. We evaluate Sat2Graph using two large datasets. We find that Sat2Graph surpasses prior methods on two widely used metrics, TOPO and APLS. Furthermore, whereas prior work only infers planar road graphs, our approach is capable of inferring stacked roads (e.g., overpasses), and does so robustly.

研究动机与目标

• 通过统一分割方法和图方法的优势，解决其局限性。
• 克服基于分割的方法对启发式后处理的依赖以及基于图的迭代方法的局部关注问题。
• 通过图结构的新型一致张量编码，实现道路网络提取的端到端有监督学习。
• 将道路图推理扩展至包含叠置道路（如高架桥）的场景，这是先前方法无法处理的。
• 开发一种可微分的整体道路网络表示，以保持拓扑和几何保真度。

提出的方法

• 提出图张量编码（GTE），一种新颖的编码方案，将无向道路网络图映射为具有方向扇区约束的固定大小张量表示。
• 利用道路网络的无向性，减少编码冗余，并在关键交汇点提升一致性。
• 利用图的可插值性，通过插入虚拟顶点来解决编码冲突，在保持拓扑结构的同时实现可行的GTE表示。
• 训练一个简单、非循环、有监督的深度神经网络，直接从卫星图像预测GTE张量。
• 应用解码算法从预测的GTE张量重建最终道路图，确保拓扑正确性。
• 设计GTE表示以在关键结构元素（如交叉口、高架桥）处保持高标签一致性，即使顶点顺序同构亦然。

实验结果

研究问题

• RQ1 统一的深度学习框架能否结合基于分割方法的全局感受野与基于图方法的结构保真度？
• RQ2 是否可行对道路图的非损失性、非唯一张量表示进行有监督训练？
• RQ3 图张量编码能否在支持端到端学习的同时保持拓扑和几何精度？
• RQ4 GTE在多大程度上能表示复杂道路结构，包括叠置道路和锐角分支？
• RQ5 所提方法是否在多种指标和道路复杂度水平下均优于现有最先进方法？

主要发现

• 在覆盖20个美国城市的720 km²数据集上，Sat2Graph在所有精度-召回率权衡点的TOPO指标上均超越先前最先进方法。
• 在SpaceNet道路数据集上，Sat2Graph在TOPO和APLS两项指标上均表现更优，展现出在各项评估标准下的持续提升。
• 该模型成功推断出如高速公路高架桥等叠置道路，这是先前方法仅处理平面图所不具备的能力。
• 在定性对比中，Sat2Graph正确捕捉了叠置道路周围的道路连通性和拓扑结构，而先前方法错误地显示了交叉但不连接的边。
• 尽管GTE存在同构模糊性，由于在交叉口和高架桥等关键结构节点处具有高标签一致性，模型仍能有效学习。
• 在D_max = 8时，仅有0.59%的边需要通过无向性质修复，通过插值性修复的边不足0.002%，表明编码具有极强可行性。