[논문 리뷰] SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

Jing Yao, Danfeng Hong외 2명|arXiv (Cornell University)|2024. 04. 12.

Remote-Sensing Image Classification인용 수 35

한 줄 요약

SpectralMamba는 hyperspectral 영상 분류에서 낮은 계산 비용으로 높은 정확도를 달성하기 위해 부분적으로 연속 스캐닝과 게이트된 공간-스펙트럴 병합을 갖춘 SSM 기반 백본을 도입합니다.

ABSTRACT

Recurrent neural networks and Transformers have recently dominated most applications in hyperspectral (HS) imaging, owing to their capability to capture long-range dependencies from spectrum sequences. However, despite the success of these sequential architectures, the non-ignorable inefficiency caused by either difficulty in parallelization or computationally prohibitive attention still hinders their practicality, especially for large-scale observation in remote sensing scenarios. To address this issue, we herein propose SpectralMamba -- a novel state space model incorporated efficient deep learning framework for HS image classification. SpectralMamba features the simplified but adequate modeling of HS data dynamics at two levels. First, in spatial-spectral space, a dynamical mask is learned by efficient convolutions to simultaneously encode spatial regularity and spectral peculiarity, thus attenuating the spectral variability and confusion in discriminative representation learning. Second, the merged spectrum can then be efficiently operated in the hidden state space with all parameters learned input-dependent, yielding selectively focused responses without reliance on redundant attention or imparallelizable recurrence. To explore the room for further computational downsizing, a piece-wise scanning mechanism is employed in-between, transferring approximately continuous spectrum into sequences with squeezed length while maintaining short- and long-term contextual profiles among hundreds of bands. Through extensive experiments on four benchmark HS datasets acquired by satellite-, aircraft-, and UAV-borne imagers, SpectralMamba surprisingly creates promising win-wins from both performance and efficiency perspectives.

연구 동기 및 목표

• 고차원성, 스펙트럴 가변성, 스펙트럴 혼동 문제를 HS 데이터에서 다룬다.
• HS 분류에 맞춘 효율적인 상태 공간 모델 기반 백본을 개발한다.
• 매개변수와 계산을 줄이기 위해 공간-스펙트럴 게이팅과 부분적 스펙트럼 스캐닝을 활용한다.
• 위성, 항공기, UAV 플랫폼의 다양한 HS 데이터셋에서 강한 성능을 보여준다.

제안 방법

• SpectralMamba를 제안한다, Mamba–S6 기반 백본으로 HS 데이터의 동역학을 공간-스펙트럴 및 숨겨진 상태 공간에서 모델링한다.
• Piece-wise Sequential Scanning(PSS)을 도입하여 스펙트럼을 구간으로 나누고 시퀀스 학습 전에 C×R 표현을 형성한다.
• Gated Spatial-Spectral Merging(GSSM)을 추가하여 채널깊이/포인트와 같은 컨볼루션을 통해 가벼운 공간 게이트를 사용해 스펙트럼을 동적으로 병합한다.
• 입력 의존 파라미터를 갖는 상태 공간(S6) 블록을 활용하여 스펙트럼의 선택적이고 효율적인 시퀀스 모델링을 가능하게 한다.
• 픽셀 단위 및 패치 단위 처리 경로를 제공하여 서로 다른 입력 입자성을 수용한다.
• MAC 및 매개변수 수를 표준 HS 분류 지표와 함께 비교하여 학습 효율성과 성능을 보고한다.

실험 결과

연구 질문

• RQ1 상태 공간 모델을 HS 데이터의 고차원성을 효율적으로 다루도록 어떻게 맞춤화할 수 있는가?
• RQ2 부분별 스펙트럼 스캐닝과 게이트된 공간-스펙트럴 병합이 계산 비용을 줄이면서 판별력을 향상시킬 수 있는가?
• RQ3 SpectralMamba가 여러 HS 데이터셋과 수집 플랫폼에서 우수한 성능-효율 균형을 달성하는가?
• RQ4 주요 구성요소(PSS 및 GSSM)가 전체 성능에 기여하는 바는 무엇인가?

주요 결과

• SpectralMamba는 벤치마크 HS 데이터셋에서 CNN, CasRNN, SpectralFormer 등과 비교해 OA/AA/Kappa 점수에서 경쟁적이거나 우수한 성능을 보인다.
• 결과 제거 연구에서 PSS가 약 4% OA 향상을 이끌고 베이스라인 대비 매개변수는 60% 감소, 계산은 40% 감소를 보였다.
• SpectralMamba는 위성, 항공기, UAV 플랫폼의 데이터셋에서도 MACs와 매개변수 수를 상대적으로 낮은 상태로 강한 성능을 유지한다.
• 방법은 합리적인 효율성 향상을 보이며 정확도와 계산 자원의 균형을 이룬다.
• 제안된 구성요소—PSS와 GSSM—은 성능 향상과 스펙트럴 가변성 및 혼동에 대한 견고성에 크게 기여한다.