[论文解读] FCCDN: Feature Constraint Network for VHR Image Change Detection

Pan Chen, Danfeng Hong+4 more|arXiv (Cornell University)|May 23, 2021

Remote-Sensing Image Classification被引用 4

一句话总结

该论文提出FCCDN，一种用于高分辨率（VHR）图像变化检测的特征约束网络，通过双编码器-解码器架构、非局部特征金字塔网络、密集特征融合以及基于自监督学习（SSL）的策略，提升特征学习能力。FCCDN在LEVIR-CD（IoU: 0.8569，F1: 0.9229）和WHU（IoU: 0.8820，F1: 0.9373）数据集上达到最先进性能，同时实现无需真实标签的无监督双时相语义分割。

ABSTRACT

Change detection is the process of identifying pixelwise differences in bitemporal co-registered images. It is of great significance to Earth observations. Recently, with the emergence of deep learning (DL), the power and feasibility of deep convolutional neural network (CNN)-based methods have been shown in the field of change detection. However, there is still a lack of effective supervision for change feature learning. In this work, a feature constraint change detection network (FCCDN) is proposed. We constrain features both in bitemporal feature extraction and feature fusion. More specifically, we propose a dual encoder-decoder network backbone for the change detection task. At the center of the backbone, we design a nonlocal feature pyramid network to extract and fuse multiscale features. To fuse bitemporal features in a robust way, we build a dense connection-based feature fusion module. Moreover, a self-supervised learning-based strategy is proposed to constrain feature learning. Based on FCCDN, we achieve state-of-the-art performance on two building change detection datasets (LEVIR-CD and WHU). On the LEVIR-CD dataset, we achieve an IoU of 0.8569 and an F1 score of 0.9229. On the WHU dataset, we achieve an IoU of 0.8820 and an F1 score of 0.9373. Moreover, for the first time, the acquisition of accurate bitemporal semantic segmentation results is achieved without using semantic segmentation labels. This is vital for the application of change detection because it saves the cost of labeling.

研究动机与目标

• 解决基于深度学习的VHR图像变化检测中有效监督不足的问题。
• 通过引入变化检测任务中的隐式约束，改进双时相特征提取与融合。
• 通过引入基于密集连接的特征融合模块，减少低层次特征融合中的噪声。
• 在无需标注分割数据的情况下，实现无监督的双时相语义分割。
• 开发一种自监督学习策略，通过跨双时相图像的语义类别一致性来增强特征学习。

提出的方法

• 设计双编码器-解码器（DED）主干网络，通过共享权重提取并比较双时相特征，提升特征对齐能力。
• 引入非局部特征金字塔网络（NL-FPN），以有效捕捉长距离依赖关系并融合多尺度特征。
• 提出基于密集连接的特征融合模块（DFM），通过跨多尺度和多层聚合特征，增强特征融合效果。
• 开发基于自监督学习（SSL）的策略，通过将双时相特征分配至语义类别并使用辅助分割分支，约束整体特征学习。
• SSL策略强制使双时相图像中同一语义类别的特征相互靠近，而不同类别的特征相互远离。
• 通过利用时序上语义类别的一致性，实现无监督的双时相语义分割结果生成。

实验结果

研究问题

• RQ1 自监督学习策略是否能在不依赖语义分割标签的情况下提升变化检测中的特征学习？
• RQ2 所提出的特征约束机制在多大程度上增强了双时相特征提取与融合的鲁棒性与准确性？
• RQ3 双编码器-解码器架构结合非局部连接与密集连接，在VHR图像变化检测中提升了多大程度的性能？
• RQ4 所提出方法是否能以无监督方式生成高精度的双时相语义分割图？
• RQ5 在变化检测任务中，基于SSL的策略与对比损失相比，在性能与泛化能力方面表现如何？

主要发现

• 在LEVIR-CD数据集上，FCCDN实现平均交并比（mIoU）为0.8569，F1得分为0.9229，创下新的最先进性能记录。
• 在WHU数据集上，FCCDN实现mIoU为0.8820，F1得分为0.9373，展现出在不同数据集间的强大泛化能力。
• 与对比损失策略相比，SSL策略在LEVIR-CD数据集上使mIoU提升0.29%，F1提升0.16%。
• 在SECOND数据集上，SSL策略在mIoU上领先对比损失策略0.2%，在F1上领先0.24%，表明其具备更优的特征区分能力。
• 首次实现无需任何标注分割标签的高精度双时相语义分割，显著降低标注成本。
• 通过采用基于密集连接的融合模块，有效减少了低层次特征融合中的噪声，提升了特征质量与检测精度。