[논문 리뷰] Progressive Split Mamba: Effective State Space Modelling for Image Restoration

Mohammed Hassanin, Nour Moustafa외 2명|arXiv (Cornell University)|2026. 03. 10.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

PS-Mamba는 기하학 보존 패치 단위 상태 공간 처리와 대칭적 교차 스케일 단축을 도입하여 이미지 복원에서 지역성 및 전역 일관성을 향상시키고, 선형 시간 복잡도를 유지하면서 이전의 Mamba 기반 및 attention 기반 모델보다 우수한 성능을 달성합니다.

ABSTRACT

Image restoration requires simultaneously preserving fine-grained local structures and maintaining long-range spatial coherence. While convolutional networks struggle with limited receptive fields, and Transformers incur quadratic complexity for global attention, recent State Space Models (SSMs), such as Mamba, provide an appealing linear-time alternative for long-range dependency modelling. However, naively extending Mamba to 2D images exposes two intrinsic shortcomings. First, flattening 2D feature maps into 1D sequences disrupts spatial topology, leading to locality distortion that hampers precise structural recovery. Second, the stability-driven recurrent dynamics of SSMs induce long-range decay, progressively attenuating information across distant spatial positions and weakening global consistency. Together, these effects limit the effectiveness of state-space modelling in high-fidelity restoration. We propose Progressive Split-Mamba (PS-Mamba), a topology-aware hierarchical state-space framework designed to reconcile locality preservation with efficient global propagation. Instead of sequentially flattening entire feature maps, PS-Mamba performs geometry-consistent partitioning, maintaining neighbourhood integrity prior to state-space processing. A progressive split hierarchy (halves, quadrants, octants) enables structured multi-scale modelling while retaining linear complexity. To counteract long-range decay, we introduce symmetric cross-scale shortcut pathways that directly transmit low-frequency global context across hierarchical levels, stabilising information flow over large spatial extents. Extensive experiments on super-resolution, denoising, and JPEG artifact reduction show consistent improvements over recent Mamba-based and attention-based models with a clear margin.

연구 동기 및 목표

• 1D 상태 공간 모델을 2D 이미지에 적용할 때의 지역성 왜곡과 장거리 감쇠를 해결한다.
• 상태 공간 처리 전에 기하학적으로 일관된 패치 분할로 공간적 지역성을 보존한다.
• 대칭적인 교차 스케일 스킵 연결로 장거리 정보 흐름을 안정화한다.
• 로컬 프라이어를 글로벌 컨텍스트와 결합하기 위해 합성곱 사전 처리기와 attention 기반 융합을 통합한다.
• 초해상도, 노이즈 제거 및 JPEG 아티팩트 감소 작업에서 개선을 시연한다.

제안 방법

• Progressive Split 기반 상태 공간 모듈 (PS-Mamba)을 도입하여 특징 맵을 기하학적으로 정렬된 패치(절반, 사분면, 팔분면)로 분할하고 각 패치를 Mamba 시퀀스로 처리하여 지역성을 보존한다.
• Mamba 시퀀스 전에 경량 합성곱 정제를 적용하여 로컬 연속성을 강화한다.
• 각 패치를 독립적으로 Mamba 코어를 통해 처리하고 재귀 계산을 안정화하기 위한 정규화 전략을 적용한다.
• 패치 수준의 Mamba 특징을 컨텐츠 적응 게이팅과 이중 attention 정제를 사용하는 합성곱 경로와 융합한다(채널 및 공간 주의).
• 끝에서 끝까지의 학습을 위해 단일 통합 L1 손실(또는 노이즈 제거 시 Charbonnier 손실)을 사용하여 최종 출력과 중간 출력을 감독한다.
• 패치 시퀀스 길이의 합이 HW와 같도록 하여 선형 복잡도를 유지하는 동시에 패치당 재귀 깊이를 효과적으로 감소시킨다.

(a)

실험 결과

연구 질문

• RQ1 기하학 보존 및 토폴로지 인식 패치 분할이 2D 이미지에 상태 공간 모델을 적용할 때 지역성 왜곡을 완화할 수 있는가?
• RQ2 대칭적인 교차 스케일 스킵 연결이 선형 상태 공간 전파에서 장거리 감쇠를 상쇄하고 전역 일관성을 향상시키는가?
• RQ3 PS-Mamba가 패치 수준 Mamba, 합성곱 사전 지식, 이중 주의 결합으로 SR, 노이즈 제거, JPEG 아티팩트 감소 작업에서 우수한 복원을 제공하는가?

주요 결과

• PS-Mamba는 경량 및 고전적 SR 설정에서 최근의 Mamba 기반 및 attention 기반 모델보다 복원 성능을 일관되게 향상시킨다.
• 패치-기반 Mamba 처리는 2D 특징을 1D 시퀀스로 평면화하는 것보다 지역 이웃 및 에지 보존에 더 효과적이다.
• 대칭 교차 스케일 단축은 정보 흐름을 안정화하고 계층적 수준에서 저주파 글로벌 컨텍스트를 강화하는 데 도움을 준다.
• 이 구조는 복원 정확도와 효율성의 균형을 이뤄 일부 대형 기준선보다 적은 매개변수로도 강력한 성능을 달성한다.
• Ablation 연구에서 팔분면 수준의 분할이 로컬 디테일과 글로벌 의존성 사이의 최적 균형을 제공한다.
• PS-Mamba는 SR, JPEG 아티팩트 감소 및 노이즈 제거 작업에서 선형 시간 복잡도를 유지하면서 경쟁력 있거나 우수한 성능을 시연한다.

(b)