[论文解读] Comprehensive Semantic Segmentation on High Resolution UAV Imagery for Natural Disaster Damage Assessment

Maryam Rahnemoonfar, Tashnim Chowdhury+2 more|arXiv (Cornell University)|Sep 2, 2020

Advanced Neural Network Applications参考文献 47被引用 5

一句话总结

本文介绍了HRUD，一个在飓风Michael过后拍摄的2,000张图像的大型高分辨率无人机（UAV）数据集，并在全面的损毁分类任务中评估了最先进的语义分割模型——DeepLabv3+、PSPNet和ENet。PSPNet在完整的9类分割任务中取得了99.81的平均交并比（mIoU），表现最佳，这得益于其通过金字塔池化实现的全局上下文建模。

ABSTRACT

In this paper, we present a large-scale hurricane Michael dataset for visual perception in disaster scenarios, and analyze state-of-the-art deep neural network models for semantic segmentation. The dataset consists of around 2000 high-resolution aerial images, with annotated ground-truth data for semantic segmentation. We discuss the challenges of the dataset and train the state-of-the-art methods on this dataset to evaluate how well these methods can recognize the disaster situations. Finally, we discuss challenges for future research.

研究动机与目标

• 为解决自然灾难损毁评估中缺乏大规模、高分辨率无人机（UAV）数据集的问题。
• 在灾害场景的全面语义分割任务中，评估最先进的深度学习模型。
• 识别在分割具有相似纹理的类别（如碎屑、沙土和完全损毁建筑）时面临的关键挑战。
• 为未来自动化灾害损毁评估研究提供一个基准数据集（HRUD）。

提出的方法

• 在飓风Michael过后，收集2,000张高分辨率（3000×4000）的无人机航拍图像。
• 构建一个详细的语义分割数据集，包含9种类别：建筑（含子类别）、道路、碎屑、水体、游泳池、树木、沙土、车辆。
• 应用三种最先进的深度学习模型进行语义分割：DeepLabv3+、PSPNet和ENet。
• 通过金字塔池化（PSPNet）、空洞卷积（DeepLabv3+）和编码器-解码器结构（ENet）实现多尺度上下文建模。
• 使用交叉熵损失函数，结合数据增强和学习率调度进行训练与评估。
• 通过在多种实验设置（2类、4类和9类分割）下的平均交并比（mIoU）进行评估。

实验结果

研究问题

• RQ1 最先进的语义分割模型在大规模、高分辨率无人机（UAV）数据集上的灾害损毁评估任务中表现如何？
• RQ2 在灾后场景中，分割具有相似纹理的类别（如碎屑、沙土和完全损毁建筑）面临哪些关键挑战？
• RQ3 为何模型难以从航拍视角中区分中等损毁与严重损毁的建筑？
• RQ4 使用全局上下文建模（如金字塔池化）如何提升复杂灾害场景下的分割性能？
• RQ5 类别不平衡和低实例类别（如游泳池、车辆）对模型泛化能力有何影响？

主要发现

• PSPNet在9类分割任务中取得了最高的平均交并比（99.81），优于DeepLabv3+和ENet。
• 所有模型在碎屑、车辆、游泳池和完全损毁建筑这四种类别上的表现最差，交并比均低于0.5。
• 由于从上方视角获取的视觉线索有限，模型在区分中等损毁与严重损毁建筑方面表现一致困难。
• ENet虽然定量性能最低，但其分割结果在定性上可接受，表明其在架构受限条件下仍具鲁棒性。
• DeepLabv3+和PSPNet的性能对基础学习率高度敏感，表明需进行细致的超参数调优。
• PSPNet的全局金字塔池化模块在复杂纹理和小尺寸、外观相似的物体上，相比空洞卷积和编码器-解码器结构，展现出更优的上下文建模能力。