[논문 리뷰] Retinexmamba: Retinex-based Mamba for Low-light Image Enhancement

Jiesong Bai, Yuhao Yin외 3명|arXiv (Cornell University)|2024. 05. 06.

Image Enhancement Techniques인용 수 11

한 줄 요약

RetinexMamba는 Retinex에서 영감을 받은 Illumination Estimator와 SS2D/Mamba로 뒷받침되는 Illumination Fusion State Space Model을 도입하여 저조도 이미지를 향상시키고, 해석 가능성과 효율성을 높이기 위해 IG-MSA를 Fused-Attention으로 대체하며, LOL 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

In the field of low-light image enhancement, both traditional Retinex methods and advanced deep learning techniques such as Retinexformer have shown distinct advantages and limitations. Traditional Retinex methods, designed to mimic the human eye's perception of brightness and color, decompose images into illumination and reflection components but struggle with noise management and detail preservation under low light conditions. Retinexformer enhances illumination estimation through traditional self-attention mechanisms, but faces challenges with insufficient interpretability and suboptimal enhancement effects. To overcome these limitations, this paper introduces the RetinexMamba architecture. RetinexMamba not only captures the physical intuitiveness of traditional Retinex methods but also integrates the deep learning framework of Retinexformer, leveraging the computational efficiency of State Space Models (SSMs) to enhance processing speed. This architecture features innovative illumination estimators and damage restorer mechanisms that maintain image quality during enhancement. Moreover, RetinexMamba replaces the IG-MSA (Illumination-Guided Multi-Head Attention) in Retinexformer with a Fused-Attention mechanism, improving the model's interpretability. Experimental evaluations on the LOL dataset show that RetinexMamba outperforms existing deep learning approaches based on Retinex theory in both quantitative and qualitative metrics, confirming its effectiveness and superiority in enhancing low-light images.

연구 동기 및 목표

• 저조도 향상에서 전통적인 Retinex 및 Retinexformer 접근법의 한계를 동기화하고 해결합니다.
• Illumination Estimator와 Illumination Fusion State Space Models를 기반으로 한 Damage Restorer를 결합한 RetinexMamba 아키텍처를 제안합니다.
• Fused-Attention과 SS2D 백본을 사용하여 해석 가능성과 처리 속도를 향상시킵니다.
• LOL 데이터세트에서 우수한 정량적 및 정성적 성능을 입증합니다.
• 아키텍처 선택과 구성요소를 정당화하기 위한 제거 연구를 분석합니다.

제안 방법

• Illumination Estimator (IE)를 도입하여 이미지를 조도 프라이어로 융합해 조도가 적용된 이미지와 조도 특징 맵을 생성합니다.
• Damage Restorer의 핵심으로 Illumination Fusion Attention (IFA), 2D Selective Scan (SS2D), LN, FFN, 합성된 컨볼루션 계층으로 구성된 Illumination Fusion State Space Model (IFSSM)을 개발합니다.
• IG-MSA를 Cross-Attention 기반의 Fused-Attention으로 교체하여 해석 가능성과 저조도 영역에 주의가 집중되도록 합니다.
• 2D Selective Scan (SS2D)을 활용해 선형 계산 복잡도를 달성하면서 장거리 의존성을 모델링합니다.
• Retinex 기반의 섭동 프레임워크를 채택하여 I = (R + ~R) ∘ (L + ~L)로 모델링하고 조도가 적용된 이미지 I_lu = I ∘ L̄를 도출합니다.
• LOL v1/v2 데이터셋에서 MAE 손실과 코사인 어닐링으로 학습 및 평가하고 PSNR/SSIM/RMSE 지표를 비교합니다.
• 디자인 선택을 정당화하기 위한 제거 연구(FixedHS, NoFB, NoSS2D, IG-MSA)를 제공합니다.

실험 결과

연구 질문

• RQ1 어떻게 Retinex에서 영감을 얻은 구조를 상태공간 모델링과 결합해 저조도 이미지를 효율적으로 향상시킬 수 있을까?
• RQ2 IG-MSA를 Fused-Attention으로 대체하고 SS2D를 사용하면 LOL 데이터셋에서 해석 가능성과 성능이 개선될까?
• RQ3 조도 프라이어 융합과 SS2D 깊이가 복원 품질과 아티팩트 억제에 어떤 영향을 미치는가?

주요 결과

• RetinexMamba는 LOL-v1 및 LOLv2-real에서 여러 SOTA 방법보다 더 높은 PSNR을 달성합니다(예: LOL-v1에서 24.025 PSNR, LOLv2-real에서 22.453).
• LOL-v1에서 RetinexMamba는 0.827 SSIM과 8.17 RMSE를 달성하고, LOL-v2-real에서 0.844 SSIM과 9.38 RMSE를 달성합니다.
• RetinexMamba는 LOL-v2-real에서 PSNR 면에서 Retinexformer보다 우수한 성능을 보이나 일부 경우 RMSE가 약간 더 높아, 지표 간 트레이드오프를 시사합니다.
• ablation 연구에서 SS2D 및 fused-attention이 포함된 전체 RetinexMamba가 LOL-v1, LOLv2-real, LOLv2-syn 전반에 걸쳐 최상의 PSNR/SSIM을 보였습니다.
• 정성적 결과는 RetinexMamba가 노출 제어를 더 잘 수행하고 색상 왜곡을 감소시키며 노이즈를 줄이는 경향을 보임을 시사합니다.