[논문 리뷰] MambaLLIE: Implicit Retinex-Aware Low Light Enhancement with Global-then-Local State Space

Jiangwei Weng, Zhiqiang Yan외 4명|arXiv (Cornell University)|2024. 05. 25.

Advanced Optical Sensing Technologies인용 수 4

한 줄 요약

MambaLLIE는 저조도 이미지 향상용 글로벌-그런 다음 로컬 상태공간 모델을 제안하며, 국소적 2차원 종속성 유지에 사용되는 로컬 향상 상태공간 모듈(LESSM)과 적응형 조명 조절을 위한 암묵적 레티놀록스 인식 선택적 커널(IRSK)을 통합한다. 이 방법은 벤치마크 데이터셋에서 PSNR 30.12와 SSIM 0.900을 기록하여 기존의 CNN 및 Transformer 기반 접근법을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Recent advances in low light image enhancement have been dominated by Retinex-based learning framework, leveraging convolutional neural networks (CNNs) and Transformers. However, the vanilla Retinex theory primarily addresses global illumination degradation and neglects local issues such as noise and blur in dark conditions. Moreover, CNNs and Transformers struggle to capture global degradation due to their limited receptive fields. While state space models (SSMs) have shown promise in the long-sequence modeling, they face challenges in combining local invariants and global context in visual data. In this paper, we introduce MambaLLIE, an implicit Retinex-aware low light enhancer featuring a global-then-local state space design. We first propose a Local-Enhanced State Space Module (LESSM) that incorporates an augmented local bias within a 2D selective scan mechanism, enhancing the original SSMs by preserving local 2D dependency. Additionally, an Implicit Retinex-aware Selective Kernel module (IRSK) dynamically selects features using spatially-varying operations, adapting to varying inputs through an adaptive kernel selection process. Our Global-then-Local State Space Block (GLSSB) integrates LESSM and IRSK with LayerNorm as its core. This design enables MambaLLIE to achieve comprehensive global long-range modeling and flexible local feature aggregation. Extensive experiments demonstrate that MambaLLIE significantly outperforms state-of-the-art CNN and Transformer-based methods. Project Page: https://mamballie.github.io/anon/

연구 동기 및 목표

• 저조도 이미지에서 장거리 글로벌 열화와 국소적 노이즈/흐림을 모델링하는 데에 CNN 및 Transformer의 한계를 해결하기 위해.
• 기본 상태공간 모델(SSM)이 글로벌 장거리 모델링을 유지하면서도 국소적 시각적 종속성을 효과적으로 포착하지 못하는 문제를 해결하기 위해.
• 조명과 반사율을 명시적으로 분해하지 않고도 영향을 미치는 유연한 종단 간 학습을 가능하게 하는 새로운 암묵적 레티놀록스 인식 프레임워크를 도입하기 위해.
• 국소적 강화와 글로벌 맥락 모델링을 통합하여 종합적인 저조도 복구를 위한 글로벌-그런 다음 로컬 상태공간 블록(GLSSB)을 설계하기 위해.

제안 방법

• 2차원 선택적 스캔 메커니즘에 국소적 바이어스를 추가하여 시각적 특징 내의 공간 종속성을 유지하는 로컬 향상 상태공간 모듈(LESSM)을 도입한다.
• 더 깊은 신경망 표현을 통해 조명 강도를 적응적으로 조절하기 위해 공간적으로 변하는 커널을 동적으로 선택하는 암묵적 레티놀록스 인식 선택적 커널(IRSK)을 제안한다.
• LESSM과 IRSK를 LayerNorm과 함께 통합하여 글로벌 장거리 모델링과 민첩한 국소적 특징 집합을 동시에 가능하게 하는 글로벌-그런 다음 로컬 상태공간 블록(GLSSB)을 설계한다.
• 두 단계 전략을 활용: 먼저 SSM을 통해 글로벌 열화를 모델링하고, 그 후 암묵적 레티놀록스 가이던스를 통한 선택적 커널 연산을 통해 국소적 세부 사항을 정밀하게 보정한다.
• 학습 안정성 향상과 네트워크 전반의 특징 전파 개선을 위해 스킵 연결을 사용하는 잔차 학습 기반 기법을 적용한다.
• 효율적인 정규화와 커널 크기 스케줄링을 적용하여 초기 레이어에는 작은 커널을, 깊은 레이어에는 큰 커널을 배치하여 패딩으로 인한 가장자리 아티팩트를 방지한다.

실험 결과

연구 질문

• RQ1 글로벌-그런 다음 로컬 상태공간 아키텍처는 저조도 이미지에서 장거리 글로벌 조명과 국소적 이미지 열화를 효과적으로 모델링할 수 있는가?
• RQ2 암묵적 레티놀록스 인식 특징 선택은 명시적 분해 대비 성능 및 일반화 능력에서 어떻게 비교되는가?
• RQ3 LESSM과 IRSK의 통합은 순수한 SSM 또는 표준 CNN/Transformer 대비 국소적 세부 사항 복구 및 글로벌 일관성 향상에 얼마나 기여하는가?
• RQ4 적응형 커널 선택을 갖춘 제안된 선택적 커널 메커니즘은 고정 또는 학습 가능한 커널 구성보다 더 나은 조명 조절을 이끌어내는가?

주요 결과

• MambaLLIE는 SIDD 벤치마크에서 PSNR 30.12와 SSIM 0.900을 기록하여 CNN 및 Transformer 기반 최신 기술 방법을 능가한다.
• 절단 실험 결과, LESSM을 제거하면 전체 모델 대비 PSNR가 0.29 dB 감소함으로써 국소 모델링에서의 중요성을 입증한다.
• IRSK 구성 요소만으로도 Baseline-1 대비 0.96 dB, Baseline-2 대비 0.74 dB의 PSNR 향상을 기록하여 조명 적응에서의 효과를 입증한다.
• 암묵적 레티놀록스 인식 프레임워크는 사전 가이던스 없이 종단 간 학습을 수행한 기본 모델 대비 PSNR를 1.25 dB 향상시켜 사전 지식 통합의 유용성을 확인한다.
• 선택적 커널 행동 시각화 결과, 모델이 글로벌 종속성보다 유사한 국소적 특징을 우선적으로 선택하는 것을 확인하여 국소 일관성 향상을 증명한다.
• 3×5 커널 구성이 최고의 성능(PSNR: 30.12, SSIM: 0.900)을 기록하여 더 큰 또는 대칭적인 커널보다 뛰어나며, 비대칭적이고 크기가 증가하는 커널 설계의 타당성을 입증한다.