[论文解读] Leveraging Crowdsourced GPS Data for Road Extraction from Aerial Imagery

Tao Sun, Zonglin Di+3 more|arXiv (Cornell University)|May 4, 2019

Automated Road and Building Extraction被引用 7

一句话总结

本文提出一种深度学习框架，通过融合众包GPS数据与航空影像，提升道路提取效果，采用创新的GPS数据增强、1D转置卷积及GPS渲染技术。与仅使用图像的模型相比，该方法在IoU上实现4.76%的绝对提升，并在无需微调的情况下，对新出现的、未见过的区域表现出显著更强的泛化能力。

ABSTRACT

Deep learning is revolutionizing the mapping industry. Under lightweight human curation, computer has generated almost half of the roads in Thailand on OpenStreetMap (OSM) using high-resolution aerial imagery. Bing maps are displaying 125 million computer-generated building polygons in the U.S. While tremendously more efficient than manual mapping, one cannot map out everything from the air. Especially for roads, a small prediction gap by image occlusion renders the entire road useless for routing. Misconnections can be more dangerous. Therefore computer-based mapping often requires local verifications, which is still labor intensive. In this paper, we propose to leverage crowdsourced GPS data to improve and support road extraction from aerial imagery. Through novel data augmentation, GPS rendering, and 1D transpose convolution techniques, we show almost 5% improvements over previous competition winning models, and much better robustness when predicting new areas without any new training data or domain adaptation.

研究动机与目标

• 解决仅依赖航空影像进行道路提取的局限性，特别是过拟合问题以及在地形或图像条件不同的新区域中泛化能力差的问题。
• 利用丰富但噪声较大的众包GPS数据，提升复杂或遮挡环境下的道路分割精度与鲁棒性。
• 通过将GPS数据作为道路连续性与拓扑结构的隐式真实标签，减少对人工本地验证的依赖。
• 开发一种多模态深度学习模型，有效融合RGB航空影像与GPS数据，实现道路语义分割的性能提升。
• 设计一种针对GPS数据的特定数据增强策略，缓解过拟合问题，并增强模型在多样化地理与数据质量条件下的泛化能力。

提出的方法

• 模型采用U-Net架构（D-LinkNet），包含双输入流：RGB航空影像与作为额外特征通道的渲染GPS数据。
• 通过不同尺寸的高斯核平滑对GPS数据进行2D地图渲染，采样间隔作为独立通道编码，以保留时间与空间密度信息。
• 提出一种新型GPS数据增强技术，对GPS轨迹应用随机裁剪、旋转与缩放，以模拟多样化数据分布，降低过拟合风险。
• 在解码器路径中引入1D转置卷积层，以更优地从GPS特征中重建细长道路结构，提升定位精度。
• 采用交叉熵损失与Dice损失联合端到端训练，推理阶段使用滑动窗口策略在全分辨率图像上进行。
• 该框架支持零样本泛化：在未参与训练的新城市（如上海）上测试时，其性能显著优于仅使用图像的模型。

实验结果

研究问题

• RQ1 众包GPS数据能否提升基于深度学习的航空影像道路提取在遮挡或复杂城市区域中的准确性与鲁棒性？
• RQ2 如何将噪声大且异质的GPS数据有效转化为语义分割模型的可靠输入模态？
• RQ3 GPS数据增强在多大程度上可减少过拟合并提升对新地理区域的零样本泛化能力？
• RQ4 GPS与图像数据的融合是否优于仅使用任一模态的模型，特别是在IoU与预测道路结构完整性方面？
• RQ5 GPS数据能否作为隐式验证手段，减少在图像伪影或遮挡区域中的误检率？

主要发现

• 所提模型在IoU上相比仅使用图像的基线模型实现4.76%的绝对提升，当使用图像+GPS+增强时，IoU达到59.18%。
• 在未见城市上海上测试时，加入GPS输入的模型IoU仅下降18.9%，而仅使用图像的模型IoU下降达31.6%，表明其具备更优的泛化能力。
• 引入GPS数据后，遮挡区域（如密集树冠下或铁路附近）的误检率显著降低，得益于预测结果中更优的结构一致性。
• 使用高斯核（核大小为3）渲染GPS数据，并将采样间隔作为独立通道，性能提升最为显著，优于其他渲染与特征组合策略。
• 1D转置卷积层显著提升了对细长连续道路段的检测能力，尤其在GPS覆盖稀疏或图像存在噪声的区域表现更优。
• GPS数据增强效果显著：经增强GPS数据训练的模型在未见区域上表现更佳，证实其在缓解过拟合中的关键作用。