[论文解读] CDMamba: Incorporating Local Clues into Mamba for Remote Sensing Image Binary Change Detection

Haotian Zhang, Keyan Chen+4 more|arXiv (Cornell University)|Jun 6, 2024

Remote-Sensing Image Classification被引用 18

一句话总结

CDMamba 将来自 Mamba 的全局特征与通过 SRCM 的局部细节以及自适应融合相结合，以提高遥感数据的二进制变化检测，在多个数据集上实现了最先进的结果。

ABSTRACT

Recently, the Mamba architecture based on state space models has demonstrated remarkable performance in a series of natural language processing tasks and has been rapidly applied to remote sensing change detection (CD) tasks. However, most methods enhance the global receptive field by directly modifying the scanning mode of Mamba, neglecting the crucial role that local information plays in dense prediction tasks (e.g., binary CD). In this article, we propose a model called CDMamba, which effectively combines global and local features for handling binary CD tasks. Specifically, the Scaled Residual ConvMamba (SRCM) block is proposed to utilize the ability of Mamba to extract global features and convolution to enhance the local details to alleviate the issue that current Mamba-based methods lack detailed clues and are difficult to achieve fine detection in dense prediction tasks. Furthermore, considering the characteristics of bi-temporal feature interaction required for CD, the Adaptive Global Local Guided Fusion (AGLGF) block is proposed to dynamically facilitate the bi-temporal interaction guided by other temporal global/local features. Our intuition is that more discriminative change features can be acquired with the guidance of other temporal features. Extensive experiments on five datasets demonstrate that our proposed CDMamba is comparable to the current methods (such as the F1/IoU scores are improved by 2.10%/3.00% and 2.44%/2.91% on LEVIR+CD and CLCD, respectively). Our code is open-sourced at https://github.com/zmoka-zht/CDMamba.

研究动机与目标

• 通过利用全局上下文和局部细节，推动遥感变化检测中的密集预测改进。
• 提出一个 CDMamba 架构，将缩放残差 ConvMamba（SRCM）用于局部+全局特征，并结合自适应全球-局部融合以实现双时相交互。
• 证明将局部线索嵌入到 Mamba 中在标准 CD 基准上取得更优的性能。
• 提供开源代码以实现可复现性和进一步研究。

提出的方法

• 引入缩放残差 ConvMamba（SRCM），将 ConvNet 风格的局部处理与 Mamba 的全局建模相融合。
• 提出自适应全球-局部引导融合（AGLGF），动态融合由全局和局部线索引导的双时相特征。
• 使用双分支 ConvMamba 基编码器，具备多尺度特征和解码器以生成差异变化表示。
• 通过对多尺度特征的绝对减法来形成解码的差异特征。
• 以联合交叉熵和 Dice 损失进行训练，以优化像素级变化检测。

实验结果

研究问题

• RQ1 局部信息能否有效集成到基于 Mamba 的变化检测中，以改善密集预测？
• RQ2 由其他时间特征引导的自适应融合是否能增强 CD 任务的双时相交互？
• RQ3 与基于 CNN、Transformer 及其他 Mamba 的 CD 方法相比，CDMamba 在标准基准上的表现如何？

主要发现

• CDMamba 在 WHU-CD、LEVIR-CD 和 LEVIR+-CD 数据集上与基于 CNN、Transformer 和 Mamba 的方法相比，达到最先进的性能。
• 与此前的 Mamba 方法相比，CDMamba 在 F1 和 IoU 上有所提高，显示出均衡而鲁棒的变化检测能力。
• 定性分析显示相比竞争方法，变化边缘更清晰，对小幅变化和复杂场景的表现更好。