[論文レビュー] CDMamba: Incorporating Local Clues into Mamba for Remote Sensing Image Binary Change Detection

Haotian Zhang, Keyan Chen+4 more|arXiv (Cornell University)|Jun 6, 2024

Remote-Sensing Image Classification被引用数 18

ひとこと要約

CDMamba は Mamba のグローバル特徴を SRCM によるローカルディテールと適応的フュージョンで統合し、リモートセンシングデータの二値変化検出を改善し、複数データセットで最先端の結果を達成します。

ABSTRACT

Recently, the Mamba architecture based on state space models has demonstrated remarkable performance in a series of natural language processing tasks and has been rapidly applied to remote sensing change detection (CD) tasks. However, most methods enhance the global receptive field by directly modifying the scanning mode of Mamba, neglecting the crucial role that local information plays in dense prediction tasks (e.g., binary CD). In this article, we propose a model called CDMamba, which effectively combines global and local features for handling binary CD tasks. Specifically, the Scaled Residual ConvMamba (SRCM) block is proposed to utilize the ability of Mamba to extract global features and convolution to enhance the local details to alleviate the issue that current Mamba-based methods lack detailed clues and are difficult to achieve fine detection in dense prediction tasks. Furthermore, considering the characteristics of bi-temporal feature interaction required for CD, the Adaptive Global Local Guided Fusion (AGLGF) block is proposed to dynamically facilitate the bi-temporal interaction guided by other temporal global/local features. Our intuition is that more discriminative change features can be acquired with the guidance of other temporal features. Extensive experiments on five datasets demonstrate that our proposed CDMamba is comparable to the current methods (such as the F1/IoU scores are improved by 2.10%/3.00% and 2.44%/2.91% on LEVIR+CD and CLCD, respectively). Our code is open-sourced at https://github.com/zmoka-zht/CDMamba.

研究の動機と目的

• グローバルな文脈と局所的なディテールの両方を活用することで、リモートセンシングの変化検出における密な予測の改善を動機づける。
• 局所+グローバル特徴を組み合わせるScaled Residual ConvMamba (SRCM) を用い、双時相間の相互作用のための適応的なグローバル-ローカル融合を備えた CDMamba アーキテクチャを提案する。
• Mamba にローカルの手掛かりを統合することで、標準的な CD ベンチマークで優れた性能を達成することを示す。
• 再現性とさらなる研究を可能にするオープンソースのコードを提供する。

提案手法

• ConvNet風の局所処理とMambaのグローバルモデリングを融合させるScaled Residual ConvMamba (SRCM)を導入する。
• グローバルおよびローカルの手掛かりに導かれて、双時相特徴を動的に融合するAdaptive Global Local Guided Fusion (AGLGF)を開発する。
• マルチスケール特徴を持つ二分枝のConvMambaベースのエンコーダとデコーダを用いて、差分変化表現を生成する。
• デコードのための差分特徴を形成するために、マルチスケール特徴の絶対差を用いる。
• ピクセル単位の変化検出を最適化するために、クロスエントロピーとダイス損失を結合して訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所情報をMambaベースの変化検出に効果的に統合して、密な予測を改善できるか？
• RQ2 他の時系列特徴に導かれた適応的融合は、CDタスクにおける双時相の相互作用を向上させるか？
• RQ3 標準ベンチマークで、CDMambaはCNNベース、Transformerベース、他のMambaベースのCD手法と比較してどのように性能を示すか？

主な発見

• CDMambaはWHU-CD、LEVIR-CD、LEVIR+-CDデータセット全体で、CNNベース、Transformerベース、Mambaベースの手法と比較して最先端の性能を達成する。
• 従来のMamba手法と比較して、CDMambaはF1とIoUの改善をもたらし、バランスの取れた頑健な変化検出能力を示す。
• 定性的分析は、競合手法と比較して変化エッジが鋭く、小さな変化や複雑なシーンでの性能が向上していることを示す。