[논문 리뷰] CDMamba: Incorporating Local Clues into Mamba for Remote Sensing Image Binary Change Detection

Haotian Zhang, Keyan Chen외 4명|arXiv (Cornell University)|2024. 06. 06.

Remote-Sensing Image Classification인용 수 18

한 줄 요약

CDMamba는 Mamba의 글로벌 특징을 SRCM과 적응형 융합을 통해 지역 상세 정보와 결합하여 원격 센싱 데이터의 이진 변화 탐지를 개선하고, 다수의 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Recently, the Mamba architecture based on state space models has demonstrated remarkable performance in a series of natural language processing tasks and has been rapidly applied to remote sensing change detection (CD) tasks. However, most methods enhance the global receptive field by directly modifying the scanning mode of Mamba, neglecting the crucial role that local information plays in dense prediction tasks (e.g., binary CD). In this article, we propose a model called CDMamba, which effectively combines global and local features for handling binary CD tasks. Specifically, the Scaled Residual ConvMamba (SRCM) block is proposed to utilize the ability of Mamba to extract global features and convolution to enhance the local details to alleviate the issue that current Mamba-based methods lack detailed clues and are difficult to achieve fine detection in dense prediction tasks. Furthermore, considering the characteristics of bi-temporal feature interaction required for CD, the Adaptive Global Local Guided Fusion (AGLGF) block is proposed to dynamically facilitate the bi-temporal interaction guided by other temporal global/local features. Our intuition is that more discriminative change features can be acquired with the guidance of other temporal features. Extensive experiments on five datasets demonstrate that our proposed CDMamba is comparable to the current methods (such as the F1/IoU scores are improved by 2.10%/3.00% and 2.44%/2.91% on LEVIR+CD and CLCD, respectively). Our code is open-sourced at https://github.com/zmoka-zht/CDMamba.

연구 동기 및 목표

• 글로벌 컨텍스트와 로컬 디테일을 모두 활용하여 원격 센싱 변화 탐지의 밀도 예측을 향상시키고자 한다.
• 로컬+글로벌 특징을 위한 Scaled Residual ConvMamba (SRCM)과 이중 시점 간 상호작용을 위한 적응형 글로벌-로컬 융합을 결합하는 CDMamba 아키텍처를 제안한다.
• Mamba에 로컬 단서를 통합하는 것이 표준 CD 벤치마크에서 우수한 성능을 낳는다는 것을 보인다.
• 재현성과 추가 연구를 가능하게 하는 오픈 소스 코드를 제공한다.

제안 방법

• ConvNet 스타일의 로컬 처리와 Mamba의 글로벌 모델링을 결합하기 위해 Scaled Residual ConvMamba (SRCM)을 도입한다.
• 글로벌·로컬 단서에 의해 가이드되는 이중 시점 특징을 동적으로 융합하는 Adaptive Global Local Guided Fusion (AGLGF)을 개발한다.
• 다중 스케일 특징을 갖는 2-브랜치 ConvMamba 기반 인코더와 차등 변화 표현을 생성하는 디코더를 사용한다.
• 디코딩을 위한 차등 특징을 형성하기 위해 다중 스케일 특징들의 절대 차를 이용하여 차등 특징을 형성한다.
• 픽셀 단위의 변화 탐지를 최적화하기 위해 교차 엔트로피와 Dice 손실을 결합한 손실로 학습한다.

실험 결과

연구 질문

• RQ1 로컬 정보를 Mamba 기반 변화 탐지에 효과적으로 통합하여 밀도 예측을 개선할 수 있는가?
• RQ2 다른 시간적 특징에 의해 가이드되는 적응형 융합이 CD 작업의 이중 시점 상호작용을 향상시키는가?
• RQ3 표준 벤치마크에서 CDMamba가 CNN-, Transformer-, 기타 Mamba 기반 CD 방법들과 비교하여 어떤 성능을 보이나?

주요 결과

• CDMamba는 WHU-CD, LEVIR-CD, LEVIR+-CD 데이터셋에서 CNN-, Transformer-, 및 Mamba 기반 방법들과 비교해 최첨단 성능을 달성한다.
• 이전 Mamba 방법들과 비교해 F1 및 IoU에서 개선을 보이며, 균형 잡히고 강건한 변화 탐지 능력을 입증한다.
• 정성적 분석은 변화 경계가 더 뚜렷하고 작은 변화 및 복잡한 장면에서 경쟁 방법들에 비해 성능이 향상됨을 보여준다.