[论文解读] Fully Transformer Network for Change Detection of Remote Sensing Images

Tianyu Yan, Zifu Wan+1 more|arXiv (Cornell University)|Oct 3, 2022

Remote-Sensing Image Classification被引用 7

一句话总结

本文提出了一种用于遥感图像变化检测的全Transformer网络（FTN），通过孪生Swin Transformer捕捉长距离依赖关系，并采用带有渐进注意力模块（PAM）的金字塔结构实现多层级特征融合。该方法在四个公开基准上实现了最先进性能，WHU-CD数据集上F1分数最高达92.19%，LEVIR-CD数据集上达91.01%，采用多损失监督训练。

ABSTRACT

Recently, change detection (CD) of remote sensing images have achieved great progress with the advances of deep learning. However, current methods generally deliver incomplete CD regions and irregular CD boundaries due to the limited representation ability of the extracted visual features. To relieve these issues, in this work we propose a novel learning framework named Fully Transformer Network (FTN) for remote sensing image CD, which improves the feature extraction from a global view and combines multi-level visual features in a pyramid manner. More specifically, the proposed framework first utilizes the advantages of Transformers in long-range dependency modeling. It can help to learn more discriminative global-level features and obtain complete CD regions. Then, we introduce a pyramid structure to aggregate multi-level visual features from Transformers for feature enhancement. The pyramid structure grafted with a Progressive Attention Module (PAM) can improve the feature representation ability with additional interdependencies through channel attentions. Finally, to better train the framework, we utilize the deeply-supervised learning with multiple boundaryaware loss functions. Extensive experiments demonstrate that our proposed method achieves a new state-of-the-art performance on four public CD benchmarks. For model reproduction, the source code is released at https://github.com/AI-Zhpp/FTN.

研究动机与目标

• 为解决因特征表示能力有限而导致的遥感图像变化检测中变化区域不完整与边界不规则问题。
• 通过利用Transformer的长距离依赖建模能力，提升全局上下文理解的特征提取能力。
• 通过带有渐进注意力模块（PAM）的金字塔结构，增强多尺度特征表示能力。
• 通过使用多边界感知损失函数的深度监督学习，提升训练稳定性和边界精度。
• 在多个公开遥感图像变化检测基准上实现最先进性能。

提出的方法

• 使用预训练的Swin Transformer构建孪生网络，从遥感图像对中提取双阶段时序特征。
• 应用特征求和与差分操作，突出变化区域并提升其完整性。
• 采用带有渐进注意力模块（PAM）的金字塔结构，聚合多层级特征并增强通道间依赖性。
• 集成多尺度解码器与渐进特征融合机制，在不同分辨率下精细化优化变化图。
• 采用加权二元交叉熵（WBCE）、SSIM与SIoU损失函数的深度监督学习，提升边界精度与模型泛化能力。
• 在解码器中使用深度可变的Swin Transformer模块（n=2至8），其中n=4时性能最优。

实验结果

研究问题

• RQ1 全Transformer架构是否能在高分辨率遥感图像变化检测中，优于基于CNN的方法，更好地捕捉全局上下文？
• RQ2 带有PAM的金字塔特征融合在变化检测中如何改善特征表示与边界一致性？
• RQ3 多种边界感知损失函数在多大程度上提升了检测到的变化区域的精度与规则性？
• RQ4 与现有方法相比，所提方法在更高分辨率输入下的扩展性能如何？
• RQ5 所提框架是否能在多样化的遥感图像变化检测基准上实现最先进性能？

主要发现

• 所提出的FTN在WHU-CD数据集上实现了92.19%的新SOTA F1分数，输入分辨率为512×512。
• 在LEVIR-CD数据集上，模型采用WBCE+SSIM+SIoU联合损失时，F1分数达到91.01%，优于先前方法。
• 与简单特征融合基线相比，带有PAM的金字塔结构使F1分数提升超过2%，定性结果中可见变化边界更规则、更完整。
• 在解码器中使用n=4个Swin Transformer模块时，性能与计算成本达到最佳平衡，n=8时性能略有下降，因计算量增加。
• 模型在更高分辨率下表现出良好扩展性，从256×256到512×512分辨率时性能持续提升，FLOPs从45G增至198G。
• WBCE、SSIM与SIoU损失的联合使用效果最佳，F1分数从仅使用BCE时的88.75%提升至91.01%（全部损失），证明了多损失监督的有效性。