[논문 리뷰] RSDehamba: Lightweight Vision Mamba for Remote Sensing Satellite Image Dehazing

Huiling Zhou, Xianhao Wu외 3명|arXiv (Cornell University)|2024. 05. 16.

Image Enhancement Techniques인용 수 5

한 줄 요약

RSDehamba는 경량의 Mamba 기반 U-Net에 Vision Dehamba Block과 방향 인식 스캔 모듈을 도입하여 강한 전역-로컬 특성 모델링으로 효율적인 원격 탐지 이미지의 대기 제거를 수행한다.

ABSTRACT

Remote sensing image dehazing (RSID) aims to remove nonuniform and physically irregular haze factors for high-quality image restoration. The emergence of CNNs and Transformers has taken extraordinary strides in the RSID arena. However, these methods often struggle to demonstrate the balance of adequate long-range dependency modeling and maintaining computational efficiency. To this end, we propose the first lightweight network on the mamba-based model called RSDhamba in the field of RSID. Greatly inspired by the recent rise of Selective State Space Model (SSM) for its superior performance in modeling linear complexity and remote dependencies, our designed RSDehamba integrates the SSM framework into the U-Net architecture. Specifically, we propose the Vision Dehamba Block (VDB) as the core component of the overall network, which utilizes the linear complexity of SSM to achieve the capability of global context encoding. Simultaneously, the Direction-aware Scan Module (DSM) is designed to dynamically aggregate feature exchanges over different directional domains to effectively enhance the flexibility of sensing the spatially varying distribution of haze. In this way, our RSDhamba fully demonstrates the superiority of spatial distance capture dependencies and channel information exchange for better extraction of haze features. Extensive experimental results on widely used benchmarks validate the surpassing performance of our RSDehamba against existing state-of-the-art methods.

연구 동기 및 목표

• 비균일한 안개 조건에서 정확한 RS 이미지 대기 제거의 필요성에 대한 동기를 제시한다.
• 장기 의존성 모델링과 계산 효율성의 균형을 맞춘 경량 아키텍처를 개발한다.
• 글로벌 컨텍스트를 포착하기 위해 U-Net 백본에 State Space Models (SSM)을 통합한다.
• 공간적으로 변화하는 안개 분포를 다루기 위해 방향 인식 스캔 모듈(Directional-aware Scan Module, DSM)을 도입한다.
• 표준 벤치마크에서 최첨단 RSID 방법과 비교 평가하여 효율성과 성능을 입증한다.

제안 방법

• Vision Dehamba Block(VDB)을 핵심 유닛으로 삼아 세 단계 U-Net 백본을 포함한다.
• VDB 내에서 장거리 공간 의존성을 가능하게 하려면 State Space Model(SSM)을 사용한다.
• VDB에서 안정적인 특징 상호 작용을 위해 Residual FFN과 정규화를 도입한다.
• 네 가지 방향에서의 특징 정보를 융합하기 위해 방향 인식 스캔 모듈(DSM)을 도입한다.
• 이중 분기 SSM의 출력을 선형 융합으로 결합하여 대기 제거 성능을 향상시킨다.
• ground-truth 대기 제거 이미지와의 차이를 최소화하기 위해 L1 손실로 학습한다.

실험 결과

연구 질문

• RQ1 가벼운 Mamba 기반 아키텍처가 매개변수 수와 FLOPs를 크게 줄이면서도 최첨단 RSID 성능을 달성할 수 있는가？
• RQ2 SSM을 U-Net 백본에 통합하면 비균일한 안개에 대한 글로벌 컨텍스트 모델링이 개선되는가？
• RQ3 DSM이 여러 방향에서 공간적으로 변화하는 안개 분포를 효과적으로 포착하여 대기 제거 품질을 향상시키는가？
• RQ4 DSM 스캔의 수가 대기 제거 성능에 미치는 영향은 무엇인가？
• RQ5 RSDehamba가 표준 벤치마크에서 CNN- 및 Transformer 기반 RSID 방법과 비교했을 때의 성능은 어떠한가？

주요 결과

• RSDehamba는 매개변수 풋프린트가 약 1.80M인 상태에서 RSID 벤치마크에서 최첨단 성능을 달성한다.
• 비전 Dehamba Block(VDB)과 SSM은 안개 제거를 위한 강력한 글로벌 컨텍스트 모델링을 제공한다.
• Direction-aware Scan Module(DSM)은 네 방향 간의 정보 교환을 강화하여 공간적으로 변화하는 안개 처리를 개선한다.
• 네 가지 경로 DSM 구성이 테스트된 설정들 중 PSNR/SSIM 트레이드오프에서 최적의 결과를 낸다.
• 제시된 SSM 설계와 DSM의 제거가 변형들보다 PSNR과 SSIM을 크게 향상시킨다는 것이 AFL(절차적 분석)에서 밝혀졌다.
• RSDehamba는 SateHaze1k에서 PSNR/SSIM 측면에서 여러 CNN- 및 Transformer 기반 베이스라인보다 우수하다.