[论文解读] Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model

Yi Liu, Chao Pang+3 more|arXiv (Cornell University)|Sep 17, 2019

Remote-Sensing Image Classification参考文献 11被引用 18

一句话总结

本文提出了一种双任务约束深度孪生卷积网络（DTCDSCN），用于遥感图像中的建筑物变化检测，通过联合优化变化检测与语义分割任务，提升特征的可区分性。通过集成双注意力模块和改进的焦点损失，该模型在WHU数据集上实现了最先进性能，在精确率、召回率、F1分数和交并比方面均优于先前方法。

ABSTRACT

In recent years, building change detection methods have made great progress by introducing deep learning, but they still suffer from the problem of the extracted features not being discriminative enough, resulting in incomplete regions and irregular boundaries. To tackle this problem, we propose a dual task constrained deep Siamese convolutional network (DTCDSCN) model, which contains three sub-networks: a change detection network and two semantic segmentation networks. DTCDSCN can accomplish both change detection and semantic segmentation at the same time, which can help to learn more discriminative object-level features and obtain a complete change detection map. Furthermore, we introduce a dual attention module (DAM) to exploit the interdependencies between channels and spatial positions, which improves the feature representation. We also improve the focal loss function to suppress the sample imbalance problem. The experimental results obtained with the WHU building dataset show that the proposed method is effective for building change detection and achieves a state-of-the-art performance in terms of four metrics: precision, recall, F1-score, and intersection over union.

研究动机与目标

• 为解决基于深度学习的建筑物变化检测中特征缺乏可区分性的问题，该问题导致检测区域不完整且边界不规则。
• 通过联合训练变化检测网络与两个语义分割子网络，提升特征表示能力。
• 通过双注意力模块建模通道与空间依赖关系，增强特征学习能力。
• 通过改进的焦点损失函数缓解变化检测中的类别不平衡问题。
• 通过多指标评估，在建筑物变化检测基准上实现最先进性能。

提出的方法

• DTCDSCN模型由共享的孪生主干网络组成，用于从两幅时序遥感图像中提取特征，随后连接变化检测头和两个独立的语义分割头。
• 嵌入双注意力模块（DAM）以捕捉通道间与空间位置间的依赖关系，在分类前优化特征图。
• 采用多任务损失联合训练，结合变化检测损失与两个分割损失，以促进具有可区分性的、基于目标的特征表示。
• 在变化检测头中应用改进的焦点损失，以降低背景像素的主导影响，提升对罕见变化实例的检测能力。
• 孪生网络的特征图经拼接与优化模块处理后，生成最终预测结果。
• 该架构支持变化检测与语义分割的联合优化，提升边界准确率与检测完整性。

实验结果

研究问题

• RQ1 联合训练变化检测与语义分割是否能提升建筑物变化检测中的特征可区分性？
• RQ2 双注意力模块如何增强遥感影像中变化检测的特征表示能力？
• RQ3 改进的焦点损失在多大程度上缓解了变化检测任务中的类别不平衡问题？
• RQ4 所提出的双任务约束框架是否在精确率、召回率与F1分数上优于单任务模型？
• RQ5 与现有深度学习方法相比，该模型能否生成更完整且更规则的变化检测图？

主要发现

• 所提出的DTCDSCN模型在WHU建筑物变化检测数据集上，所有四项评估指标（精确率、召回率、F1分数与交并比）均达到最先进水平。
• 将语义分割作为辅助任务显著提升了特征的可区分性，使变化区域更完整且边界更清晰。
• 双注意力模块通过建模通道间与空间位置间的长距离依赖关系，增强了特征表示能力。
• 改进的焦点损失有效降低了前景-背景类别不平衡的影响，提升了实际建筑物变化的检测效果。
• 消融实验验证了双任务学习策略与DAM模块对最优性能的必要性。
• 与基线方法相比，该模型生成的变化检测图噪声更少，边界更规则。