[논문 리뷰] S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

Guanchun Wang, Xiangrong Zhang외 3명|arXiv (Cornell University)|2024. 04. 28.

Remote-Sensing Image Classification인용 수 15

한 줄 요약

S2Mamba는 Patch Cross Scanning과 Bi-directional Spectral Scanning을 Spatial-spectral Mixture Gate와 함께 사용하여 공간-스펙트럴 상태 공간 모델을 도입하고, 여러 베이스라인 대비 선형 복잡도와 향상된 정확도를 달성한다.

ABSTRACT

Land cover analysis using hyperspectral images (HSI) remains an open problem due to their low spatial resolution and complex spectral information. Recent studies are primarily dedicated to designing Transformer-based architectures for spatial-spectral long-range dependencies modeling, which is computationally expensive with quadratic complexity. Selective structured state space model (Mamba), which is efficient for modeling long-range dependencies with linear complexity, has recently shown promising progress. However, its potential in hyperspectral image processing that requires handling numerous spectral bands has not yet been explored. In this paper, we innovatively propose S$^2$Mamba, a spatial-spectral state space model for hyperspectral image classification, to excavate spatial-spectral contextual features, resulting in more efficient and accurate land cover analysis. In S$^2$Mamba, two selective structured state space models through different dimensions are designed for feature extraction, one for spatial, and the other for spectral, along with a spatial-spectral mixture gate for optimal fusion. More specifically, S$^2$Mamba first captures spatial contextual relations by interacting each pixel with its adjacent through a Patch Cross Scanning module and then explores semantic information from continuous spectral bands through a Bi-directional Spectral Scanning module. Considering the distinct expertise of the two attributes in homogenous and complicated texture scenes, we realize the Spatial-spectral Mixture Gate by a group of learnable matrices, allowing for the adaptive incorporation of representations learned across different dimensions. Extensive experiments conducted on HSI classification benchmarks demonstrate the superiority and prospect of S$^2$Mamba. The code will be made available at: https://github.com/PURE-melo/S2Mamba.

연구 동기 및 목표

• 효율적인 장거리 의존성 모델링으로 하이퍼스펙트럴 이미지에서 토지 피복 분류의 개선을 동기가 부여한다.
• 공간 맥락과 연속 스펙트럼 정보를 함께 포착하는 공간-스펙트럴 프레임워크를 개발한다.
• 픽셀 단위로 공간 및 스펙트럴 표현을 적응적으로 합치기 위한 학습 가능한 융합 게이트를 제안한다.
• 트랜스포머 기반 방법과 비교하여 선형 복잡도와 파라미터 효율성을 입증한다.

제안 방법

• Patch Cross Scanning (PCS)은 인접 픽셀 간의 맥락 관계를 포착하기 위해 패치 수준의 공간 경로에 선택적 상태공간 스캐닝을 적용한다.
• Bi-directional Spectral Scanning (BSS)는 양방향 상호작용을 통해 연속 스펙트럼 밴드를 분석하여 의미론적 스펙트럴 특성을 추출한다.
• A Spatial-spectral Mixture Gate (SMG)는 픽셀당 융합 가중치를 학습하여 공간 및 스펙트럴 표현을 적응적으로 결합한다.
• The framework uses selective structured state space models (Mamba) to achieve long-range dependency modeling with linear complexity.
• Discretization of state-space equations via zero-order hold and first-order Taylor approximation enables efficient sequence processing.
• Classification is performed on top of fused spatial-spectral features for each pixel.

실험 결과

연구 질문

• RQ1 선택적 구조화된 상태 공간 모델을 확장하여 하이퍼스펙트럴 데이터의 공간 및 스펙트럴 의존성을 포착할 수 있는 방법은?
• RQ2 PCS와 BSS가 보완적인 정보를 제공하여 융합될 때 하이퍼스펙트럴 토지피복 분류를 개선할 수 있는가?
• RQ3 학습 가능한 공간-스펙트럴 융합 게이트가 단순 특성 연결이나 간단한 가중치보다 성능을 향상시키는가?
• RQ4 HSI 분류를 위한 Transformer 기반 방법에 비해 S2Mamba의 복잡도 및 파라미터 측면의 효율성 이점은 무엇인가?

주요 결과

• S2Mamba는 Indian Pines, Pavia University, Houston 2013에서 Transformer 기반 방법을 포함한 여러 베이스라인 대비 전반 정확도, 평균 정확도, 그리고 kappa에서 우수한 성능을 달성한다.
• PCS는 Mamba 기반 메커니즘을 사용하여 다방향으로 패치를 스캔함으로써 공간 맥락 관계를 포착한다.
• BSS는 양방향 방향으로 스펙트럼 밴드를 스캔하여 스펙트럴 시맨틱스를 추출함으로써 스펙트럴 연속성을 활용한다.
• SMG는 픽셀당 공간 및 스펙트럴 특성을 동적으로 융합하고, 여과 임계값으로 중복 정보를 제거한다.
• S2Mamba는 선형 계산 복잡도와 작은 파라미터 발자국을 보여주며 실험에서 최첨단 Transformer 기반 모델을 능가한다.
• 제거 연구(Ablation)는 PCS, BSS, SMG의 결합이 데이터 세트 전반에서 최상의 OA/AA/Kappa를 얻는다는 것을 보여준다.