[论文解读] Joint Learning from Earth Observation and OpenStreetMap Data to Get Faster Better Semantic Maps

Nicolas Audebert, Bertrand Le Saux+1 more|arXiv (Cornell University)|May 17, 2017

Advanced Image and Video Retrieval Techniques参考文献 2被引用 9

一句话总结

本文提出将开放街图（OpenStreetMap, OSM）数据作为辅助输入，集成到深度学习模型中，用于多光谱航空与卫星图像的语义标注。通过使用FuseNet和残差校正等架构，将OSM栅格数据（特别是道路、建筑和植被）与多光谱数据进行融合，该方法在ISPRS Potsdam和DFC2017等公开数据集上，将分类准确率提升最高达5%，并将模型收敛速度加快25%。

ABSTRACT

In this work, we investigate the use of OpenStreetMap data for semantic labeling of Earth Observation images. Deep neural networks have been used in the past for remote sensing data classification from various sensors, including multispectral, hyperspectral, SAR and LiDAR data. While OpenStreetMap has already been used as ground truth data for training such networks, this abundant data source remains rarely exploited as an input information layer. In this paper, we study different use cases and deep network architectures to leverage OpenStreetMap data for semantic labeling of aerial and satellite images. Especially , we look into fusion based architectures and coarse-to-fine segmentation to include the OpenStreetMap layer into multispectral-based deep fully convolutional networks. We illustrate how these methods can be successfully used on two public datasets: ISPRS Potsdam and DFC2017. We show that OpenStreetMap data can efficiently be integrated into the vision-based deep learning models and that it significantly improves both the accuracy performance and the convergence speed of the networks.

研究动机与目标

• 解决在遥感语义分割中OSM数据作为输入特征而非仅作为真实标签被低估的问题。
• 通过整合OSM的语义与空间信息，提升深度学习模型在地球观测（EO）图像语义标注中的准确率与收敛速度。
• 研究多光谱EO数据与OSM栅格之间有效的融合策略，以提升城市与植被覆盖类别的分类性能。
• 在基准数据集上评估所提方法，以证明其在不同地理区域与数据质量条件下的鲁棒性与可扩展性。

提出的方法

• 将OSM矢量图层（道路、建筑、植被等）栅格化，使其空间分辨率与输入的多光谱图像相匹配。
• 采用类似FuseNet的架构，在特征层面融合多光谱影像与OSM栅格，实现异构数据源的联合学习。
• 实施从粗到精的分割策略，即利用光学数据对OSM语义地图进行深度学习优化，从而提升OSM地图质量与模型泛化能力。
• 通过将OSM预测结果作为先验，应用残差校正方法，以修正或优化来自多光谱CNN的最终语义分割输出。
• 使用ISPRS Potsdam与DFC2017数据集的真实标签进行监督学习，将OSM作为辅助输入，端到端训练模型。
• 采用数据增强与空间对齐技术，处理OSM与EO数据之间的时间与空间错配问题。

实验结果

研究问题

• RQ1 开放街图数据能否在遥感语义分割的深度学习模型训练中，作为输入特征而非仅作为目标使用？
• RQ2 将OSM栅格数据整合到多光谱地球观测图像训练的深度神经网络中，如何提升其准确率与收敛速度？
• RQ3 在语义标注任务中，结合多光谱影像与OSM数据的最有效融合架构是什么？
• RQ4 当OSM数据过时或不完整时，模型表现如何？其在不同数据质量与覆盖范围下的鲁棒性如何？
• RQ5 特定类别（如密集植被、紧凑城市区域）的OSM标注在多大程度上提升了分类性能？

主要发现

• 将OSM数据集成到深度学习模型中，使ISPRS Potsdam数据集的整体准确率提升2.5%，DFC2017数据集提升接近5%。
• 在ISPRS Potsdam数据集上，采用OSM图层的残差校正框架使模型收敛速度加快25%。
• 在城市类别（如紧凑中高层建筑）和密集植被类别中观察到最显著的准确率提升，这得益于OSM提供的关键语义与空间先验信息。
• 将OSM栅格与多光谱数据融合在'密集树木'（类别11）和'低等植物'（类别14）等类别上尤为有效，这些类别在OSM的自然地形图层中表达充分。
• 模型对OSM与EO数据之间轻微的时间错配表现出鲁棒性，尽管OSM数据可能比EO数据新达两年，性能下降极少。
• 即使在OSM覆盖稀疏的区域，模型仍保持良好性能，凸显其对缺失或不完整OSM输入的强适应能力。