[論文レビュー] Progressive Split Mamba: Effective State Space Modelling for Image Restoration

Mohammed Hassanin, Nour Moustafa+2 more|arXiv (Cornell University)|Mar 10, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

PS-Mambaは対称的なクロススケールショートカットを備えた幾何学を保つパッチ単位の状態空間処理を導入し、局所性と全体的一貫性を改善。従来のMambaベースおよびアテンションベースモデルより優れた結果を達成し、線形時間計算量を維持。

ABSTRACT

Image restoration requires simultaneously preserving fine-grained local structures and maintaining long-range spatial coherence. While convolutional networks struggle with limited receptive fields, and Transformers incur quadratic complexity for global attention, recent State Space Models (SSMs), such as Mamba, provide an appealing linear-time alternative for long-range dependency modelling. However, naively extending Mamba to 2D images exposes two intrinsic shortcomings. First, flattening 2D feature maps into 1D sequences disrupts spatial topology, leading to locality distortion that hampers precise structural recovery. Second, the stability-driven recurrent dynamics of SSMs induce long-range decay, progressively attenuating information across distant spatial positions and weakening global consistency. Together, these effects limit the effectiveness of state-space modelling in high-fidelity restoration. We propose Progressive Split-Mamba (PS-Mamba), a topology-aware hierarchical state-space framework designed to reconcile locality preservation with efficient global propagation. Instead of sequentially flattening entire feature maps, PS-Mamba performs geometry-consistent partitioning, maintaining neighbourhood integrity prior to state-space processing. A progressive split hierarchy (halves, quadrants, octants) enables structured multi-scale modelling while retaining linear complexity. To counteract long-range decay, we introduce symmetric cross-scale shortcut pathways that directly transmit low-frequency global context across hierarchical levels, stabilising information flow over large spatial extents. Extensive experiments on super-resolution, denoising, and JPEG artifact reduction show consistent improvements over recent Mamba-based and attention-based models with a clear margin.

研究の動機と目的

• 1D状態空間モデルを2D画像へ適用する際の局所性の歪みと長距離減衰への対処。
• 状態空間処理前に幾何学的整合パッチ分割による空間的局所性の維持。
• 対称的なクロススケールスキップ接続による長距離情報流の安定化。
• 局所事前推定とグローバル文脈を組み合わせるための畳み込み前処理とアテンションベースのフュージョンの統合。
• 超解像、ノイズ除去、JPEGアーティファクト低減タスクでの改善を実証。

提案手法

• パッチごとに幾何学に沿った分割（ halves、quadrants、octants ）を行い、それぞれをMamba系列で処理して局所性を保つ Progressive Splitベースの State Space Module (PS-Mamba)を導入。
• Mamba系列の前に軽量な畳み込みによる整合性の強化を適用。
• 各パッチを独立してMambaコアで処理し、再帰計算を安定化させる正規化戦略を採用。
• パッチレベルのMamba特徴を畳み込み経路と統合し、内容適応ゲーティングとデュアルアテンションリファインメント（チャネルとスペースアテンション）を用いたフュージョンを行う。
• エンドツーエンドの訓練のために単一の統一L1損失（デノising時はCharbonnier）を使用して最終出力と中間出力を監督。
• パッチ系列長の総和がHWに等しくなるようにすることで線形計算量を維持しつつ、パッチあたりの再帰深度を実質的に低減。

(a)

実験結果

リサーチクエスチョン

• RQ1 幾何学的に保たれたトポロジー認識されたパッチ分割は、2D画像への状態空間モデル適用時の局所性の歪みを緩和できるか。
• RQ2 対称的なクロススケールスキップ接続は線形状態空間伝播における長距離減衰を打ち消し、全体的一貫性を改善するか。
• RQ3 PS-MambaがパッチレベルのMamba、畳み込み事前情報、デュアルアテンションを組み合わせることで、SR、ノイズ除去、JPEGアーティファクト低減で優れた復元を達成するか。

主な発見

• PS-Mambaは、軽量設定および従来型SR設定において、最近のMambaベースおよびアテンションベースモデルより一貫して復元性能を向上させる。
• パッチ単位のMamba処理は、2D特徴を1D系列へ平坦化するよりも局所近傍とエッジを良く保持する。
• 対称的なクロススケールショートカットは情報フローを安定化させ、階層的なレベル間で低周波のグローバル文脈を強化する。
• 本アーキテクチャは復元忠実度と効率のバランスを取り、より少ないパラメータで一部の大規模ベースラインより強い結果を達成する。
• アブレーション研究によりoctantレベルの分割が局所的な詳細とグローバル依存性の最良のトレードオフを提供することが示された。
• PS-MambaはSR、JPEGアーティファクト低減、ノイズ除去タスクで競争力あるいは優位な性能を示しつつ、線形時間計算量を維持する。

(b)