[論文レビュー] DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification

Jiamu Sheng, Jingyi Zhou+3 more|arXiv (Cornell University)|Jun 11, 2024

Remote-Sensing Image Classification被引用数 5

ひとこと要約

DualMambaは、Mambaベースのグローバルなスペクトル-空間モデリングと、局所特徴の軽量CNNを組み合わせた軽量な並列アーキテクチャを提案し、公開HSIでパラメータ数とFLOPを減らしつつ精度を向上させます。

ABSTRACT

The effectiveness and efficiency of modeling complex spectral-spatial relations are both crucial for Hyperspectral image (HSI) classification. Most existing methods based on CNNs and transformers still suffer from heavy computational burdens and have room for improvement in capturing the global-local spectral-spatial feature representation. To this end, we propose a novel lightweight parallel design called lightweight dual-stream Mamba-convolution network (DualMamba) for HSI classification. Specifically, a parallel lightweight Mamba and CNN block are first developed to extract global and local spectral-spatial features. First, the cross-attention spectral-spatial Mamba module is proposed to leverage the global modeling of Mamba at linear complexity. Within this module, dynamic positional embedding is designed to enhance the spatial location information of visual sequences. The lightweight spectral/spatial Mamba blocks comprise an efficient scanning strategy and a lightweight Mamba design to efficiently extract global spectral-spatial features. And the cross-attention spectral-spatial fusion is designed to learn cross-correlation and fuse spectral-spatial features. Second, the lightweight spectral-spatial residual convolution module is proposed with lightweight spectral and spatial branches to extract local spectral-spatial features through residual learning. Finally, the adaptive global-local fusion is proposed to dynamically combine global Mamba features and local convolution features for a global-local spectral-spatial representation. Compared with state-of-the-art HSI classification methods, experimental results demonstrate that DualMamba achieves significant classification accuracy on three public HSI datasets and a superior reduction in model parameters and floating point operations (FLOPs).

研究の動機と目的

• グローバルおよびローカルのスペクトル-空間関係のモデリングによって、効率的で正確なハイパースペクトル画像（HSI）分類を動機づける。
• グローバルとローカルの特徴抽出をデカップリングする、軽量な並列アーキテクチャを開発する。
• グローバルなスペクトル-空間の文脈と局所的なスペクトル-空間のディテールを効率的に捉える新規モジュールを導入する。

提案手法

• グローバル特徴のためのクロスアテンションスペクトル-空間 Mamba モジュールと、局所特徴のための軽量スペクトル-空間残差畳み込みモジュールを組み合わせた並列デュアルストリーム設計を導入する。
• スキャン前に空間的位置情報を強化するために、動的な位置埋め込みを使用する。
• 効率的なスキャン戦略（空間片方向スキャンとスペクトル双方向スキャン）を備えた軽量な空間およびスペクトル Mamba ブロックを実装する。
• 寄与度を調整する適応的なグローバル-ローカル融合モジュールを介して、グローバルとローカルの特徴を融合する。
• 統合されたグローバル-ローカルスペクトル-空間表現に対して単純な分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 並列 Mamba-畳み込みアーキテクチャは、軽量でありながら HSIs におけるグローバルなスペクトル-空間関係を効果的にモデル化できるか？
• RQ2 動的位置埋め込みと専門的なスキャン戦略は、グローバルなスペクトル-空間特徴抽出を向上させるか？
• RQ3 グローバルとローカルの特徴の適応的な融合は、パラメータ数とFLOPsを削減しつつ優れた性能をもたらすか？

主な発見

• DualMamba は 3 つの公開 HS I データセットで優れた分類精度を達成する。
• 本モデルは最先端手法と比較してパラメータ数と FLOPs を大幅に削減する。
• 動的位置埋め込みを用いたクロスアテンションスペクトル-空間 Mamba は、グローバルなスペクトル-空間関係を効果的に捉える。
• 軽量なスペクトル-空間残差畳み込みモジュールは、局所的なスペクトル-空間特徴を効率的に学習する。
• 適応的なグローバル-ローカル融合は、グローバルとローカルの特徴を動的にバランスさせ、堅牢な表現を実現する。