[论文解读] From Darkness to Detail: Frequency-Aware SSMs for Low-Light Vision

Eashan Adhikarla, Kai Zhang+3 more|arXiv (Cornell University)|Aug 19, 2024

Image Enhancement Techniques被引用 4

一句话总结

ExpoMamba 提出了一种基于 Mamba 的频率感知架构，用于高效且有效地增强低光照图像，通过一种新颖的频率状态空间模块（FSSB）来提升纹理细节并管理混合曝光问题。该方法实现 2–3 倍的推理加速（36.6 毫秒），PSNR 相较于先前模型最高提升 20%，适用于实时边缘部署。

ABSTRACT

Low-light image enhancement remains a persistent challenge in computer vision, where state-of-the-art models are often hampered by hardware constraints and computational inefficiency, particularly at high resolutions. While foundational architectures like transformers and diffusion models have advanced the field, their computational complexity limits their deployment on edge devices. We introduce ExpoMamba, a novel architecture that integrates a frequency-aware state-space model within a modified U-Net. ExpoMamba is designed to address mixed-exposure challenges by decoupling the modeling of amplitude (intensity) and phase (structure) in the frequency domain. This allows for targeted enhancement, making it highly effective for real-time applications, including downstream tasks like object detection and segmentation. Our experiments on six benchmark datasets show that ExpoMamba is up to 2-3x faster than competing models and achieves a 6.8\% PSNR improvement, establishing a new state-of-the-art in efficient, high-quality low-light enhancement. Source code: https://www.github.com/eashanadhikarla/ExpoMamba.

研究动机与目标

• 解决低光照图像中同时存在欠曝和过曝区域的混合曝光挑战。
• 克服基于 Transformer 和扩散模型的模型在实时边缘应用中计算效率低下和推理延迟高的问题。
• 开发一种轻量化、高效的架构，在低光照图像增强中保持高感知质量和结构保真度。
• 通过动态批量训练方案和对幅度与相位分量的自适应处理，实现鲁棒的多分辨率推理。

提出的方法

• 将改进的 U-Net 与 2D-Mamba 模块及频域处理相结合，以高效建模长距离依赖关系。
• 提出频率状态空间模块（FSSB），将特征图分解为幅度和相位分量以实现针对性增强。
• 分别使用 2D-Mamba 模块处理幅度（用于抑制噪声和失真）和相位（用于平滑和细节恢复）。
• 在频域处理后，通过逆傅里叶变换重建空域输出。
• 实施动态批量训练方案，以提升在多样化输入分辨率和光照条件下的泛化能力。
• 采用复合损失函数，结合 L1、VGG、SSIM、LPIPS 和过曝正则化项，以保持结构并避免伪影。

Figure 1: [ top: 400x600; bottom: 3840x2160] Scatter plot of model inference time vs. PSNR. Baselines that used ground-truth mean information to produce metrics were reproduced without such information for fairness.

实验结果

研究问题

• RQ1 频率感知的状态空间建模是否能在保持计算效率的同时提升低光照图像增强性能？
• RQ2 在频域中分离处理幅度与相位分量，如何增强纹理恢复与噪声抑制？
• RQ3 FSSB 模块在混合曝光场景下相较于标准卷积与注意力机制的性能提升程度如何？
• RQ4 基于输入平均亮度的动态推理调整是否能提升在多样化光照条件下的性能？
• RQ5 集成 HDR 感知组件（HDR、HDR-CSRNet+）是否显著减少低光照增强中的过曝伪影？

主要发现

• ExpoMamba 在 LOL-v1 数据集上实现 25.640 的 PSNR，相较竞争模型提升 15%–20%。
• 模型将推理时间缩短至 36.6 毫秒，实现较基线方法 2–3 倍的加速，适用于实时应用。
• FSSB 模块对性能贡献显著，消融实验显示，加入 FSSB 相较于无 FSSB 可使 PSNR 提升 2.66 dB。
• 推理阶段的动态调整（DA）使 PSNR 提升 0.53 dB，SSIM 提升 0.015，表明对输入亮度变化具有强鲁棒性。
• HDR-CSRNet+ 优于标准 HDR 和 HDROut 层，在消融实验中实现最高的 PSNR（25.640）和 SSIM（0.860）。
• L1、VGG、SSIM、LPIPS 与过曝正则化损失的组合，显著提升了感知质量并有效抑制伪影。

Figure 2: Overview of the ExpoMamba Architecture. The diagram illustrates the information flow through the ExpoMamba model. The architecture efficiently processes sRGB images by integrating convolutional layers, 2D-Mamba blocks, and deep supervision mechanisms to enhance image reconstruction, partic