[论文解读] BLDNet: A Semi-supervised Change Detection Building Damage Framework using Graph Convolutional Networks and Urban Domain Knowledge

Ali Mohamed Ali Ismail, Mariette Awad|arXiv (Cornell University)|Jan 25, 2022

Data-Driven Disease Surveillance被引用 9

一句话总结

BLDNet 是一种半监督图卷积神经网络框架，将建筑物损毁变化检测建模为节点分类问题，利用孪生卷积神经网络进行局部特征提取，并通过图卷积网络（GCN）建模非平稳邻域的空间关系。通过引入城市领域知识（通过建筑物元特征），BLDNet 在贝鲁特港口爆炸数据集上的准确率最高提升了 8.79%，即使元数据缺失率达 32.18% 也保持了优异性能。

ABSTRACT

Change detection is instrumental to localize damage and understand destruction in disaster informatics. While convolutional neural networks are at the core of recent change detection solutions, we present in this work, BLDNet, a novel graph formulation for building damage change detection and enable learning relationships and representations from both local patterns and non-stationary neighborhoods. More specifically, we use graph convolutional networks to efficiently learn these features in a semi-supervised framework with few annotated data. Additionally, BLDNet formulation allows for the injection of additional contextual building meta-features. We train and benchmark on the xBD dataset to validate the effectiveness of our approach. We also demonstrate on urban data from the 2020 Beirut Port Explosion that performance is improved by incorporating domain knowledge building meta-features.

研究动机与目标

• 通过为建筑物损毁检测提供半监督学习能力，解决灾难响应中标签数据有限的挑战。
• 通过将建筑物建模为具有非欧几里得关系的图，克服卷积神经网络在捕捉长距离空间依赖方面的局限性。
• 整合建筑和上下文元特征（如年龄、高度、材料）作为领域知识，以提升模型泛化能力和预测准确率。
• 在真实城市灾害数据上验证基于图的建模方法的有效性，特别是在混合建筑类型构成的异质性城市环境中。
• 在 xBD 基准数据集和 2020 年贝鲁特港口爆炸数据集上验证该框架，以展示其在多样化城市环境中的鲁棒性。

提出的方法

• 将建筑物损毁检测建模为图上的节点分类问题，其中每个节点代表一栋建筑物，边表示空间邻近性和上下文关系。
• 使用孪生卷积神经网络主干网络从灾前和灾后图像块中提取局部空间特征，实现像素级变化对比。
• 应用图卷积网络（GCN）聚合邻近建筑物的特征，捕捉超越固定卷积核大小的非局部和非平稳邻域模式。
• 采用半监督方式训练模型，利用少量标签样本和大量无标签数据，降低对大规模人工标注的依赖。
• 将建筑物元特征（如建筑年龄、高度、材料、功能）作为额外节点特征，将城市领域知识注入图结构。
• 使用类别加权的交叉熵损失函数进行模型优化，以应对损毁数据集中严重的类别不平衡问题。

实验结果

研究问题

• RQ1 在标签数据有限的情况下，基于图的深度学习框架是否能优于传统的基于 CNN 的方法进行建筑物损毁变化检测？
• RQ2 通过建筑物元特征整合城市领域知识，对异质性城市环境中变化检测模型的性能有何影响？
• RQ3 半监督学习在多大程度上可减少灾难响应场景中对大规模人工标注的需求？
• RQ4 将建筑物建模为具有空间和上下文关系的图，是否能提升对细微或非均匀损毁模式的检测能力？
• RQ5 该模型在不同城市灾害场景（如 xBD 基准数据集和贝鲁特港口爆炸事件）中的表现如何变化？

主要发现

• 在贝鲁特港口爆炸数据集中，当向模型注入元特征后，BLDNet 在保留集上的性能指标平均提升了 5.65%。
• 性能提升最显著体现在准确率（+8.79%）和 F1 分数（+6.87%），表明元特征显著增强了模型正确检测损毁的能力。
• 即使元特征的平均缺失率达 32.18%，模型仍保持稳健性能，证明了领域知识注入的鲁棒性。
• 在 xBD 数据集上，BLDNet 的表现优于多分辨率自编码器基线模型，所有指标在 30 次随机数据划分中均具有统计显著性差异（p < 0.05）。
• 在贝鲁特数据集的完整测试集中，模型准确率为 74.60%，F1 分数为 65.95%；当引入元特征后，准确率提升至 81.33%，F1 分数提升至 68.08%。
• 统计检验确认性能差异并非由偶然造成，所有 p 值均低于 5% 的显著性阈值。