[论文解读] Deep Learning-based Aerial Image Segmentation with Open Data for Disaster Impact Assessment

Ananya Gupta, Simon Watson+1 more|arXiv (Cornell University)|Jun 10, 2020

Automated Road and Building Extraction参考文献 32被引用 5

一句话总结

本文提出了一种深度学习框架，用于利用来自OpenStreetMap（OSM）的开放数据和ImageNet预训练，实现灾后航空影像的自动化分割，以识别受损基础设施和可通行道路。通过结合语义分割与基于图论的道路网络更新，该方法减少了对手动标注的依赖，并提高了模型间分割的一致性，F-score达到94.76，显著优于单一网络模型。

ABSTRACT

Satellite images are an extremely valuable resource in the aftermath of natural disasters such as hurricanes and tsunamis where they can be used for risk assessment and disaster management. In order to provide timely and actionable information for disaster response, in this paper a framework utilising segmentation neural networks is proposed to identify impacted areas and accessible roads in post-disaster scenarios. The effectiveness of pretraining with ImageNet on the task of aerial image segmentation has been analysed and performances of popular segmentation models compared. Experimental results show that pretraining on ImageNet usually improves the segmentation performance for a number of models. Open data available from OpenStreetMap (OSM) is used for training, forgoing the need for time-consuming manual annotation. The method also makes use of graph theory to update road network data available from OSM and to detect the changes caused by a natural disaster. Extensive experiments on data from the 2018 tsunami that struck Palu, Indonesia show the effectiveness of the proposed framework. ENetSeparable, with 30% fewer parameters compared to ENet, achieved comparable segmentation results to that of the state-of-the-art networks.

研究动机与目标

• 解决在海啸等自然灾害后，快速、自动化进行灾害影响评估的关键需求。
• 通过利用OpenStreetMap（OSM）提供的弱标签开放数据，减少对灾后卫星影像进行耗时的手动标注的依赖。
• 通过统一框架提升不同神经网络架构之间的分割性能与一致性。
• 通过结合语义分割与基于图的网络更新，实现对受损道路和基础设施变化的精确检测。

提出的方法

• 利用在ImageNet上预训练的卷积神经网络（CNNs），以提升航空影像分割任务中的泛化能力与收敛速度。
• 将OSM数据用作弱监督训练标签，避免对灾后影像进行昂贵的手动标注。
• 应用基于图论的框架，通过与现有OSM道路网络对齐，检测并修正分割输出中缺失或断开的道路段。
• 通过对比灾前与灾后分割掩膜的差异，生成变化热力图以进行灾害影响评估。
• 提出两种新型网络变体：ENetSeparable（参数量比ENet减少30%）以提升效率，以及UNetUpsample以提升精度。
• 将分割输出与OSM集成，生成稳健且连通的道路网络更新，减少误报和断开段。

实验结果

研究问题

• RQ1 尽管存在领域差异，ImageNet预训练在航空影像语义分割模型上的性能提升程度如何？
• RQ2 OpenStreetMap数据作为弱监督信号，在灾后分割任务中训练深度学习模型的有效性如何？
• RQ3 基于图论的框架是否能有效纠正分割错误并提升灾后场景下的道路网络连通性？
• RQ4 所提出的框架如何降低不同分割架构之间的性能差异？
• RQ5 模型架构选择（如VGG16与ResNet）对受灾区域分割精度的影响如何？

主要发现

• 尽管ImageNet与航空影像之间存在领域差距，ImageNet预训练仍使训练时间减少了约10个周期，并略微提升了准确率。
• 在二值与多类别分割任务中，VGG16在所有评估的编码器架构中表现最佳，取得了最高的F-score。
• 所提出的ENetSeparable模型在参数量减少30%的情况下，性能与当前最先进网络相当，展现出高效率。
• 该框架将不同分割模型之间的F-score方差从8%降低至仅2%，显著提升了不同架构间的性能一致性。
• 该框架实现的最高F-score为94.76，远超最佳单一分割模型的73.98，表明性能有显著提升。
• 定性结果（包括变化热力图与损毁可视化）与欧洲委员会Corpernicus应急制图服务报告高度一致，验证了该框架在现实场景中的相关性。