[论文解读] MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos

Xiaoyu Zhu, Junwei Liang+1 more|arXiv (Cornell University)|Jun 30, 2020

Anomaly Detection Techniques and Applications参考文献 34被引用 9

一句话总结

本文提出 MSNet，一种用于航拍无人机视频中建筑物损伤评估的多层级实例分割网络。该工作引入了 ISBDA 数据集，提供实例级别的损伤标注，并采用分层区域提议网络（HRPN）和无监督得分优化网络（SRN）以提升检测精度，在掩码平均精度（AP）上相比 PolarMask 实现了 14.9% 的绝对提升，达到当前最先进性能。

ABSTRACT

In this paper, we study the problem of efficiently assessing building damage after natural disasters like hurricanes, floods or fires, through aerial video analysis. We make two main contributions. The first contribution is a new dataset, consisting of user-generated aerial videos from social media with annotations of instance-level building damage masks. This provides the first benchmark for quantitative evaluation of models to assess building damage using aerial videos. The second contribution is a new model, namely MSNet, which contains novel region proposal network designs and an unsupervised score refinement network for confidence score calibration in both bounding box and mask branches. We show that our model achieves state-of-the-art results compared to previous methods in our dataset. We will release our data, models and code.

研究动机与目标

• 为解决使用航拍无人机视频进行建筑物损伤评估时缺乏基准数据集的问题。
• 提升航拍视频中损伤检测的准确性，特别是针对小尺寸、不规则形状的损伤实例。
• 处理无人机视频序列中因视角变化导致的检测不一致问题。
• 对边界框和掩码预测分支中的置信度分数进行校准，以提升模型可靠性。
• 开发一种能够利用分层空间关系和帧间一致性的鲁棒损伤分割模型。

提出的方法

• 提出 ISBDA，首个包含用户生成的航拍无人机视频、并带有细粒度实例级别建筑物损伤标注的数据集。
• 引入分层区域提议网络（HRPN），通过建模建筑物与其损伤部位之间的空间层次关系，提升检测性能。
• 采用无监督得分优化网络（SRN），利用帧间一致性对边界框和掩码分支中的置信度分数进行优化。
• 使用 ResNet-50 搭配特征金字塔网络（FPN）作为主干网络，用于特征提取和多尺度检测。
• 采用 IoU 和交叠率-交叠率（II）指标进行候选框采样，II 指标在小尺寸损伤实例上表现更优。
• 采用两阶段训练策略：先使用边界框进行训练，再引入损伤掩码，利用分层结构提升掩码预测性能。

实验结果

研究问题

• RQ1 是否可以通过包含实例级别损伤标注的航拍无人机视频新数据集，实现损伤评估模型的定量基准测试？
• RQ2 如何利用建筑物与其损伤部位之间的分层空间关系来提升检测性能？
• RQ3 是否可以利用无人机视频序列中的帧间一致性，在无需人工标注分数的情况下提升置信度分数的校准效果？
• RQ4 在小尺寸损伤实例上，使用交叠率-交叠率（II）作为候选框采样指标是否优于传统的 IoU？
• RQ5 多层级实例分割网络是否能在航拍视频中的建筑物损伤分割任务上达到最先进性能？

主要发现

• MSNet 在 ISBDA 数据集上相比 PolarMask 实现了 14.9% 的掩码平均精度（AP）绝对提升，展现出最先进性能。
• HRPN 组件相比基线模型将性能提升了 4.3% AP，凸显了建模分层空间关系的优势。
• SRN 组件通过优化置信度分数，进一步提升了检测性能，对边界框和掩码分支均有积极贡献。
• 使用 II 指标进行候选框采样相比 IoU 提升了 2.7% AP，尤其在小尺寸损伤实例上实现 7.1% 的绝对提升，归因于对小尺度异常的更好处理。
• 该模型显著减少了标签误分类、误报、掩码不完整和漏检现象，尤其在噪声大且复杂的场景中表现更优。
• 实证验证表明，MSNet 在 ISBDA 基准测试的所有评估指标上均优于当前最先进模型，包括 Mask R-CNN 变体。