[论文解读] An End-to-End Two-Phase Deep Learning-Based workflow to Segment Man-made Objects Around Reservoirs

Nayereh Hamidishad, Roberto Marcondes Cesar Junior|arXiv (Cornell University)|Feb 7, 2023

Flood Risk Assessment and Management被引用 4

一句话总结

本文提出了一种基于谷歌地球影像的端到端两阶段深度学习工作流程，用于分割水库周边的人工地物。首先，使用U-Net或SegNet模型分割水库，随后通过后处理去除漂浮植被；然后，识别水库周围的感兴趣区域（RoIaR），并使用U-Net、FPN、LinkNet或PSPNet模型分割人工地物，第一阶段F1得分达到96.53%，第二阶段达到90.32%。

ABSTRACT

Reservoirs are fundamental infrastructures for the management of water resources. Constructions around them can negatively impact their quality. Such unauthorized constructions can be monitored by land cover mapping (LCM) remote sensing (RS) images. In this paper, we develop a new approach based on DL and image processing techniques for man-made object segmentation around the reservoirs. In order to segment man-made objects around the reservoirs in an end-to-end procedure, segmenting reservoirs and identifying the region of interest (RoI) around them are essential. In the proposed two-phase workflow, the reservoir is initially segmented using a DL model. A post-processing stage is proposed to remove errors such as floating vegetation. Next, the RoI around the reservoir (RoIaR) is identified using the proposed image processing techniques. Finally, the man-made objects in the RoIaR are segmented using a DL architecture. We trained the proposed workflow using collected Google Earth (GE) images of eight reservoirs in Brazil over two different years. The U-Net-based and SegNet-based architectures are trained to segment the reservoirs. To segment man-made objects in the RoIaR, we trained and evaluated four possible architectures, U-Net, FPN, LinkNet, and PSPNet. Although the collected data has a high diversity (for example, they belong to different states, seasons, resolutions, etc.), we achieved good performances in both phases. Furthermore, applying the proposed post-processing to the output of reservoir segmentation improves the precision in all studied reservoirs except two cases. We validated the prepared workflow with a reservoir dataset outside the training reservoirs. The results show high generalization ability of the prepared workflow.

研究动机与目标

• 开发一种基于遥感影像的端到端深度学习工作流程，用于分割水库周边的人工地物。
• 通过使用高分辨率卫星图像进行自动化土地覆盖制图，解决在水库附近检测非法建筑的挑战。
• 通过引入两阶段方法、后处理和感兴趣区域（RoIaR）定位，提升分割精度。
• 在未见水库上验证模型的泛化能力，确保在不同地理和季节条件下具有鲁棒性。

提出的方法

• 使用U-Net和SegNet架构对高分辨率谷歌地球影像中的水库进行初始语义分割。
• 通过形态学操作和光谱滤波等方法，在后处理阶段纠正分割错误，特别是去除漂浮植被。
• 利用图像处理技术（如膨胀和轮廓检测）定义水库周围的感兴趣区域（RoIaR），以聚焦于相关区域。
• 在RoIaR内训练并评估四种深度学习架构（U-Net、FPN、LinkNet和PSPNet）用于人工地物分割。
• 结合Dice损失和Focal损失函数进行训练优化，并应用过采样方法以处理农村地区人工地物检测中的类别不平衡问题。
• 在训练集和外部验证数据集（包括训练集中未包含的水库）上使用F1得分评估模型性能。

Figure 1: Overview of the proposed analysis workflow.

实验结果

研究问题

• RQ1 两阶段深度学习工作流程是否能在多样化的地理和季节条件下实现高精度分割水库周边的人工地物？
• RQ2 后处理在提升水库分割精度方面有多有效，特别是在去除漂浮植被等假阳性结果方面？
• RQ3 与全图分割相比，RoIaR定位在多大程度上提升了人工地物分割的性能？
• RQ4 不同的损失函数和数据增强策略对不平衡农村人工地物数据集上模型性能有何影响？
• RQ5 所提出的工作流程是否能很好地泛化到具有不同空间分辨率、大气条件和地表覆盖类型的未见水库？

主要发现

• 第一阶段水库分割在测试集上达到最高的F1得分为96.53%，表明对水体的识别具有高精度。
• 后处理在除两个水库外的所有情况下均提升了精度，外部验证集的F1得分在后处理后提高至94.68%。
• 第二阶段人工地物分割在使用PSPNet架构和VGG-16主干网络时达到最高的F1得分为90.32%。
• 结合Dice损失和Focal损失函数显著提升了在不平衡数据上的性能，优于单独使用Focal损失。
• 过采样进一步提升了分割结果，尤其对罕见的农村人工地物类别效果显著。
• 该工作流程在未见水库（Barra）上表现良好，第一阶段F1得分为92.54%，第二阶段为88.11%，证实了其鲁棒性和可迁移性。

Figure 2: Visualization of the studied reservoirs locations.