[论文解读] Image-Conditioned Graph Generation for Road Network Extraction

Davide Belli, Thomas Kipf|arXiv (Cornell University)|Oct 31, 2019

Data Visualization and Analytics参考文献 32被引用 26

一句话总结

本文提出生成图变换器（Generative Graph Transformer, GGT），一种深度自回归模型，通过自注意力机制并结合一种新型度量指标——StreetMover距离，基于卫星图像语义分割生成道路网络图。该工作引入了图卢兹道路网络数据集，并在无需后处理启发式规则的情况下，实现了端到端道路网络提取的最先进性能。

ABSTRACT

Deep generative models for graphs have shown great promise in the area of drug design, but have so far found little application beyond generating graph-structured molecules. In this work, we demonstrate a proof of concept for the challenging task of road network extraction from image data. This task can be framed as image-conditioned graph generation, for which we develop the Generative Graph Transformer (GGT), a deep autoregressive model that makes use of attention mechanisms for image conditioning and the recurrent generation of graphs. We benchmark GGT on the application of road network extraction from semantic segmentation data. For this, we introduce the Toulouse Road Network dataset, based on real-world publicly-available data. We further propose the StreetMover distance: a metric based on the Sinkhorn distance for effectively evaluating the quality of road network generation. The code and dataset are publicly available.

研究动机与目标

• 开发一种端到端的深度学习框架，用于从语义分割图中提取道路网络，消除对手动后处理启发式规则的依赖。
• 解决利用条件图生成方法从图像数据中生成准确且拓扑一致的道路网络的挑战。
• 引入一种新型评估度量指标——StreetMover距离，该指标对图的排列、平移和旋转保持不变，从而实现对生成与真实道路网络之间可靠比较。
• 发布图卢兹道路网络数据集，为在公开数据上评估道路网络提取模型提供一个真实世界基准。
• 展示所提模型在噪声输入分割情况下的可扩展性与鲁棒性，以模拟真实世界条件。

提出的方法

• 生成图变换器（GGT）采用编码器-解码器架构，结合自注意力机制，以图像特征为条件进行图生成。
• 图像编码器处理64×64灰度输入，在每一步生成过程中，利用先前生成节点的上下文注意力机制，生成条件向量。
• 解码器采用递归自回归过程，逐步生成节点与边，其中节点坐标和软邻接矩阵通过多头注意力与前馈网络预测。
• 节点与边特征通过分别应用于最终隐藏表示的MLP头进行预测，坐标归一化至[-1, +1]，邻接值通过Sigmoid函数映射至[0,1]。
• 模型采用混合损失函数进行训练，结合二元交叉熵损失用于邻接矩阵与均方误差损失用于节点坐标，其中包含一个可学习的超参数以平衡两项损失。
• 提出一种新型评估度量——StreetMover距离，基于道路网络节点点云之间的Sinkhorn距离，确保对图变换的不变性。

实验结果

研究问题

• RQ1 深度自回归图生成模型是否能有效从语义分割图中提取道路网络，而无需后处理启发式规则？
• RQ2 生成图变换器在保持拓扑准确性的同时，对大规模复杂道路网络的扩展能力如何？
• RQ3 该模型在面对真实世界卫星影像中常见的噪声或不完美分割输入时，其鲁棒性如何？
• RQ4 所提出的StreetMover距离度量在捕捉生成道路网络结构保真度方面，相较于现有度量指标的有效性如何？
• RQ5 在真实世界数据上端到端训练的条件图生成框架，是否能在道路网络提取任务中实现具有竞争力的性能？

主要发现

• StreetMover距离度量成功捕捉了生成与真实道路网络之间的结构相似性，在一半测试案例中中位距离低于0.010。
• GGT模型在图卢兹道路网络数据集上达到最先进性能，在定性与定量评估中均优于基线模型。
• 模型对输入分割中的低至中等水平噪声表现出强鲁棒性，但在高度杂乱或复杂道路网络上性能有所下降。
• 定性结果表明，GGT即使在具有挑战性的场景下，也能生成拓扑一致的图，实现准确的节点定位与边连接。
• StreetMover距离的直方图显示，大多数重建结果高度准确，仅有少量失败案例导致平均距离偏高。
• 该模型实现了有效的端到端道路网络提取，消除了对人工后处理步骤（如合并断开的路段或移除孤立子图）的需求。