[論文レビュー] S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

Guanchun Wang, Xiangrong Zhang+3 more|arXiv (Cornell University)|Apr 28, 2024

Remote-Sensing Image Classification被引用数 15

ひとこと要約

S2Mamba は Patch Cross Scanning と Bi-directional Spectral Scanning を用い、Spatial-spectral Mixture Gate を備えた空間−スペクトル状態空間モデルを高スペクトル画像分類に導入し、線形計算量と複数のベースラインに対する精度向上を達成します。

ABSTRACT

Land cover analysis using hyperspectral images (HSI) remains an open problem due to their low spatial resolution and complex spectral information. Recent studies are primarily dedicated to designing Transformer-based architectures for spatial-spectral long-range dependencies modeling, which is computationally expensive with quadratic complexity. Selective structured state space model (Mamba), which is efficient for modeling long-range dependencies with linear complexity, has recently shown promising progress. However, its potential in hyperspectral image processing that requires handling numerous spectral bands has not yet been explored. In this paper, we innovatively propose S$^2$Mamba, a spatial-spectral state space model for hyperspectral image classification, to excavate spatial-spectral contextual features, resulting in more efficient and accurate land cover analysis. In S$^2$Mamba, two selective structured state space models through different dimensions are designed for feature extraction, one for spatial, and the other for spectral, along with a spatial-spectral mixture gate for optimal fusion. More specifically, S$^2$Mamba first captures spatial contextual relations by interacting each pixel with its adjacent through a Patch Cross Scanning module and then explores semantic information from continuous spectral bands through a Bi-directional Spectral Scanning module. Considering the distinct expertise of the two attributes in homogenous and complicated texture scenes, we realize the Spatial-spectral Mixture Gate by a group of learnable matrices, allowing for the adaptive incorporation of representations learned across different dimensions. Extensive experiments conducted on HSI classification benchmarks demonstrate the superiority and prospect of S$^2$Mamba. The code will be made available at: https://github.com/PURE-melo/S2Mamba.

研究の動機と目的

• 長距離依存性を効率的にモデリングしつつ、ハイパースペクトル画像による土地被覆分類の改善を動機づける。
• 空間的文脈と連続的スペクトル情報を共同で捉える空間-スペクトルフレームワークを開発する。
• ピクセルごとに空間表現とスペクトル表現を適応的に結合する学習可能な融合ゲートを提案する。
• Transformerベースの手法と比較して線形計算量と競争力のパラメータ効率を示す。

提案手法

• Patch Cross Scanning (PCS) は、隣接ピクセル間の文脈的関係を捉えるためにパッチレベルの空間ルートへ選択的状態空間スキャンを適用します。
• Bi-directional Spectral Scanning (BSS) は、双方向の相互作用を通じて連続スペクトル帯を分析し、意味的スペクトル特徴を抽出します。
• A Spatial-spectral Mixture Gate (SMG) は、ピクセルごとに融合重みを学習し、空間表現とスペクトル表現を適応的に結合します。
• このフレームワークは、長距離依存性のモデリングを線形計算量で実現するために、選択的構造化状態空間モデル（Mamba）を使用します。
• ゼロ次ホールドと一階テイラー近似による状態空間方程式の離散化は、効率的な系列処理を可能にします。
• ピクセルごとに融合された空間-スペクトル特徴の上に分類を行います。

実験結果

リサーチクエスチョン

• RQ1 選択的構造化状態空間モデルをどのように拡張して、ハイパースペクトルデータにおける空間的およびスペクトル的依存関係の両方を捉えることができるか。
• RQ2 PCS と BSS は補完的な情報を提供し、融合されるとハイパースペクトル土地被覆分類を改善できるか。
• RQ3 学習可能な空間-スペクトル融合ゲートは、単純な特徴連結や単純な重み付けより性能を向上させるか。
• RQ4 HSI分類におけるTransformerベースの手法と比べた場合の、S2Mambaの計算量およびパラメータの効率性はどの程度か。

主な発見

• S2Mamba は Indian Pines、Pavia University、Houston 2013 において、Transformer ベースの手法を含む複数のベースラインと比較して、総合精度、平均精度、および κ で卓越した性能を達成します。
• PCS は Mamba ベースの機構を用いてパッチを複数方向からスキャンすることで、空間的文脈関係を捉えます。
• BSS は双方向方向にスペクトル帯をスキャンしてスペクトル意味論を抽出することで、スペクトル連続性を活用します。
• SMG はピクセルごとに空間とスペクトル特徴を動的に融合し、冗長な情報を絞り込むゲーティング閾値を備えます。
• S2Mamba は線形計算量と小さなパラメータフットプリントを示し、実験で最先端の Transformer ベースモデルを上回ります。
• アブレーション研究は、PCS、BSS、SMG の組み合わせが、データセット全体で最良の OA/AA/Kappa をもたらすことを示します。