[論文レビュー] SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

Jing Yao, Danfeng Hong+2 more|arXiv (Cornell University)|Apr 12, 2024

Remote-Sensing Image Classification被引用数 35

ひとこと要約

SpectralMambaは、SSMベースのバックボーンと、ピースごとの逐次スキャンおよびゲーテッド空間-スペクトル統合を導入し、高精度を低計算コストで実現する高スペクトル画像分類手法です。

ABSTRACT

Recurrent neural networks and Transformers have recently dominated most applications in hyperspectral (HS) imaging, owing to their capability to capture long-range dependencies from spectrum sequences. However, despite the success of these sequential architectures, the non-ignorable inefficiency caused by either difficulty in parallelization or computationally prohibitive attention still hinders their practicality, especially for large-scale observation in remote sensing scenarios. To address this issue, we herein propose SpectralMamba -- a novel state space model incorporated efficient deep learning framework for HS image classification. SpectralMamba features the simplified but adequate modeling of HS data dynamics at two levels. First, in spatial-spectral space, a dynamical mask is learned by efficient convolutions to simultaneously encode spatial regularity and spectral peculiarity, thus attenuating the spectral variability and confusion in discriminative representation learning. Second, the merged spectrum can then be efficiently operated in the hidden state space with all parameters learned input-dependent, yielding selectively focused responses without reliance on redundant attention or imparallelizable recurrence. To explore the room for further computational downsizing, a piece-wise scanning mechanism is employed in-between, transferring approximately continuous spectrum into sequences with squeezed length while maintaining short- and long-term contextual profiles among hundreds of bands. Through extensive experiments on four benchmark HS datasets acquired by satellite-, aircraft-, and UAV-borne imagers, SpectralMamba surprisingly creates promising win-wins from both performance and efficiency perspectives.

研究の動機と目的

• 高次元性、スペクトル変動、そしてスペクトル混同といった課題に取り組む。
• HS分類に適した効率的な状態空間モデルベースのバックボーンを開発する。
• 空間-スペクトルゲーティングとピースワイズスペクトルスキャンを活用してパラメータと計算量を削減する。
• 衛星・航空機・UAVプラットフォームからの多様なHSデータセットで優れた性能を示す。

提案手法

• SpectralMambaを提案する。 spatial-spectralと hidden state spacesの双方でHSデータのダイナミクスをモデル化するMamba–S6ベースのバックボーン。
• Piece-wise Sequential Scanning (PSS)を導入し、スペクトルをセグメントに分割して、逐次学習前にC×R表現を形成する。
• Gated Spatial-Spectral Merging (GSSM)を追加し、深度wise/pointwise畳み込みを用いた軽量の空間ゲートを用いてスペクトルを動的に統合する。
• 入力依存パラメータを持つ状態空間(S6)ブロックを用いて、スペクトルの選択的で効率的な系列モデリングを実現する。
• 異なる入力粒度に対応するピクセル単位およびパッチ単位の処理経路を提供する。
• 標準的なHS分類指標と併せてMACsとパラメータ数を比較し、トレーニング効率と性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 状態空間モデルをどのように適合させて高次元のHSデータを効率的に扱えるようにするか？
• RQ2 ピースワイズスペクトルスキャンとゲーティッド空間-スペクトル統合を組み合わせて、計算コストを削減しつつ識別性を向上させられるか？
• RQ3 SpectralMambaは複数のHSデータセットと取得プラットフォームにおいて、性能と効率のバランスに優れたトレードオフを達成するか？
• RQ4 主要構成要素（PSSとGSSM）の全体性能への寄与は何か？

主な発見

手法	OA (%)	AA (%)	Kappa	MACs (M)	Params (K)
MLP (Pixelwise)	69.94	74.26	0.6749	19.64	305.94
CNN (Pixelwise)	67.58	71.77	0.6501	26.83	418.77
CasRNN (Patchwise)	80.57	83.46	0.7894	640.09	1192.96
SpectralFormer (Pixelwise)	82.94	85.42	0.8149	681.19	72.56
SpectralMamba (Pixelwise)	89.52	90.50	0.8864	36.21	36.55

• SpectralMambaは、CNN、CasRNN、SpectralFormerなどと比較して、ベンチマークHSデータセットでOA/AA/Kappaスコアが競合的または優れている。
• アブレーション研究は、PSSがベースラインに比べて約4%のOA改善と、パラメータを60%、計算量を40%削減することを示す。
• SpectralMambaは、衛星・航空機・UAVプラットフォームのデータセット全体で、強力な性能を提供しつつ比較的低いMACsとパラメータ数を維持する。
• 本手法は、精度と計算資源のバランスを取りつつ、好適な効率向上を示す。
• 提案された構成要素—PSSとGSSM—は、性能向上とスペクトル変動および混乱に対する頑健性に大きく寄与する。