[论文解读] MambaLLIE: Implicit Retinex-Aware Low Light Enhancement with Global-then-Local State Space

Jiangwei Weng, Zhiqiang Yan+4 more|arXiv (Cornell University)|May 25, 2024

Advanced Optical Sensing Technologies被引用 4

一句话总结

MambaLLIE 提出了一种全局-局部状态空间模型，用于低光照图像增强，通过引入局部增强状态空间模块（LESSM）以保留局部二维依赖性，并采用隐式Retinex感知选择性卷积核（IRSK）实现自适应光照调制。该方法在基准数据集上实现了最先进性能，PSNR达到30.12，SSIM达到0.900，优于现有的CNN和Transformer方法。

ABSTRACT

Recent advances in low light image enhancement have been dominated by Retinex-based learning framework, leveraging convolutional neural networks (CNNs) and Transformers. However, the vanilla Retinex theory primarily addresses global illumination degradation and neglects local issues such as noise and blur in dark conditions. Moreover, CNNs and Transformers struggle to capture global degradation due to their limited receptive fields. While state space models (SSMs) have shown promise in the long-sequence modeling, they face challenges in combining local invariants and global context in visual data. In this paper, we introduce MambaLLIE, an implicit Retinex-aware low light enhancer featuring a global-then-local state space design. We first propose a Local-Enhanced State Space Module (LESSM) that incorporates an augmented local bias within a 2D selective scan mechanism, enhancing the original SSMs by preserving local 2D dependency. Additionally, an Implicit Retinex-aware Selective Kernel module (IRSK) dynamically selects features using spatially-varying operations, adapting to varying inputs through an adaptive kernel selection process. Our Global-then-Local State Space Block (GLSSB) integrates LESSM and IRSK with LayerNorm as its core. This design enables MambaLLIE to achieve comprehensive global long-range modeling and flexible local feature aggregation. Extensive experiments demonstrate that MambaLLIE significantly outperforms state-of-the-art CNN and Transformer-based methods. Project Page: https://mamballie.github.io/anon/

研究动机与目标

• 为解决CNN和Transformer在建模低光照图像中长程全局退化及局部噪声/模糊方面的局限性。
• 克服标准状态空间模型（SSMs）在保持全局长程建模的同时，难以有效捕捉局部视觉依赖性的缺陷。
• 提出一种新型隐式Retinex感知框架，避免显式分解光照与反射率，实现灵活的端到端学习。
• 设计全局-局部状态空间模块（GLSSB），统一局部增强与全局上下文建模，实现全面的低光照图像恢复。

提出的方法

• 提出局部增强状态空间模块（LESSM），通过在2D选择性扫描机制中引入局部偏置，以保留视觉特征中的空间依赖性。
• 提出隐式Retinex感知选择性卷积核（IRSK），通过深层神经表示动态选择空间可变的卷积核，自适应调节光照强度。
• 通过整合LESSM与IRSK并结合LayerNorm，设计全局-局部状态空间模块（GLSSB），实现全局长程建模与灵活的局部特征聚合。
• 采用两阶段策略：首先通过SSM建模全局退化，随后利用隐式Retinex引导的选择性卷积操作细化局部细节。
• 采用残差学习方案与跳跃连接，以稳定训练并提升网络中特征的传播能力。
• 应用有效的归一化与卷积核大小调度策略，在浅层使用较小卷积核，深层使用较大卷积核，以避免填充带来的边缘伪影。

实验结果

研究问题

• RQ1 全局-局部状态空间架构能否有效建模低光照图像中的长程全局光照与局部图像退化？
• RQ2 隐式Retinex感知特征选择与显式分解相比，在性能与泛化能力方面表现如何？
• RQ3 与原始SSM或标准CNN/Transformer相比，LESSM与IRSK的集成在局部细节恢复与全局一致性方面提升程度如何？
• RQ4 所提出的自适应卷积核选择机制是否相比固定或可学习卷积核配置，能实现更优的光照调制效果？

主要发现

• MambaLLIE在SIDD基准数据集上实现PSNR 30.12与SSIM 0.900，优于最先进方法，包括CNN与Transformer模型。
• 消融实验表明，移除LESSM会使PSNR降低0.29 dB，表明其在局部建模中的关键作用。
• 仅使用IRSK组件时，相比Baseline-1提升PSNR 0.96 dB，相比Baseline-2提升0.74 dB，证明其在光照适应方面的有效性。
• 隐式Retinex感知框架相比无先验引导的端到端基线模型，提升PSNR 1.25 dB，证实先验集成的有益性。
• 选择性卷积核行为可视化结果表明，模型学会优先关注相似局部特征而非全局依赖，从而增强局部一致性。
• 3×5卷积核配置取得最佳性能（PSNR: 30.12，SSIM: 0.900），优于更大或对称的卷积核，验证了非对称且逐步增大尺寸的卷积核设计的合理性。