[论文解读] Cross-directional Feature Fusion Network for Building Damage Assessment from Satellite Imagery

Yu Shen, Sijie Zhu+2 more|arXiv (Cornell University)|Oct 27, 2020

Remote-Sensing Image Classification参考文献 16被引用 8

一句话总结

本文提出了一种两阶段U-Net框架，结合交叉方向特征融合与基于CutMix的数据增强方法，用于从灾前和灾后卫星影像中进行建筑物损毁评估。通过融合灾前与灾后特征之间的通道相关性和空间相关性，并选择性地对困难类别（轻微损毁和严重损毁）应用CutMix，该方法在xBD基准上实现了最先进性能，损毁评估的F1分数达到0.778。

ABSTRACT

Fast and effective responses are required when a natural disaster (e.g., earthquake, hurricane, etc.) strikes. Building damage assessment from satellite imagery is critical before an effective response is conducted. High-resolution satellite images provide rich information with pre- and post-disaster scenes for analysis. However, most existing works simply use pre- and post-disaster images as input without considering their correlations. In this paper, we propose a novel cross-directional fusion strategy to better explore the correlations between pre- and post-disaster images. Moreover, the data augmentation method CutMix is exploited to tackle the challenge of hard classes. The proposed method achieves state-of-the-art performance on a large-scale building damage assessment dataset -- xBD.

研究动机与目标

• 解决有效建模灾前与灾后卫星影像之间相关性的挑战，以提升建筑物损毁评估效果。
• 应对建筑物损毁分类中难以区分的类别（如无损毁与轻微损毁）之间的视觉相似性难题。
• 通过有针对性的数据增强，提升少数类和难分类损毁等级的模型泛化能力与鲁棒性。
• 在大规模xBD数据集上实现建筑物损毁评估的最先进性能。

提出的方法

• 采用两阶段U-Net框架：第一阶段仅使用灾前影像进行建筑物分割；第二阶段结合灾前与灾后影像进行损毁评估。
• 引入交叉方向融合模块，联合建模灾前与灾后影像特征之间的通道相关性与空间相关性。
• 该融合机制通过整合两种影像模态之间的互补信息，增强特征表示能力。
• 选择性地对困难类别（轻微损毁与严重损毁）应用CutMix数据增强，以提升训练多样性并增强模型鲁棒性。
• 通过使用建筑物分割阶段的预训练权重初始化损毁评估分支，实现迁移学习。
• 模型采用ResNet-50作为主干网络，并使用Adam优化器进行训练，学习率与训练轮次调度按阶段分别调整。

实验结果

研究问题

• RQ1 如何有效建模灾前与灾后卫星影像之间的跨模态相关性，以提升建筑物损毁评估性能？
• RQ2 与均匀应用相比，选择性地在难分类损毁等级（如轻微损毁与严重损毁）上应用CutMix数据增强有何影响？
• RQ3 具有共享特征学习的两阶段U-Net框架是否能提升建筑物损毁分割与分类的性能？
• RQ4 交叉方向特征融合在多大程度上减少了视觉上相似损毁类别之间的误分类？

主要发现

• 所提方法在xBD数据集上的损毁评估F1分数达到0.778，优于ResNet-50基线模型（0.757）及先前最先进方法。
• 消融实验表明，仅使用交叉方向融合即可使F1分数从0.789提升至0.795，表明特征表示能力有显著提升。
• 仅对困难类别（轻微与严重损毁）应用CutMix可使F1分数提升1.3%（从0.789增至0.802），轻微损毁分类准确率提升2.7%。
• 对所有类别均应用CutMix仅带来0.1%的提升（从0.789增至0.790），证实对困难类别进行选择性增强更为有效。
• 增加交叉方向融合模块仅使参数量增加0.6M，FLOPs增加14.7 GFLOPs，表明计算开销极低。
• 该方法在所有损毁等级上均表现最佳，其中无损毁类别的F1分数最高（0.927），被毁类别的F1分数为0.873。