[论文解读] FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information

Chenxi Wang, Hongjun Wu+1 more|arXiv (Cornell University)|Aug 6, 2023

Image Enhancement Techniques被引用 7

一句话总结

FourLLIE 提出了一种基于傅里叶变换的两阶段低光照图像增强方法，利用频域中的幅度分量幅值来提升图像亮度，并采用信噪比（SNR）图来融合全局傅里叶特征与局部空间特征。该方法仅使用近期基于 Transformer 的 SOTA 方法 0.31% 的参数量，便在多个基准测试中实现了最先进性能，展现出极高的效率与有效性。

ABSTRACT

Recently, Fourier frequency information has attracted much attention in Low-Light Image Enhancement (LLIE). Some researchers noticed that, in the Fourier space, the lightness degradation mainly exists in the amplitude component and the rest exists in the phase component. By incorporating both the Fourier frequency and the spatial information, these researchers proposed remarkable solutions for LLIE. In this work, we further explore the positive correlation between the magnitude of amplitude and the magnitude of lightness, which can be effectively leveraged to improve the lightness of low-light images in the Fourier space. Moreover, we find that the Fourier transform can extract the global information of the image, and does not introduce massive neural network parameters like Multi-Layer Perceptrons (MLPs) or Transformer. To this end, a two-stage Fourier-based LLIE network (FourLLIE) is proposed. In the first stage, we improve the lightness of low-light images by estimating the amplitude transform map in the Fourier space. In the second stage, we introduce the Signal-to-Noise-Ratio (SNR) map to provide the prior for integrating the global Fourier frequency and the local spatial information, which recovers image details in the spatial space. With this ingenious design, FourLLIE outperforms the existing state-of-the-art (SOTA) LLIE methods on four representative datasets while maintaining good model efficiency.

研究动机与目标

• 探究傅里叶频域信息（尤其是幅度分量）在低光照图像增强中的作用。
• 通过利用傅里叶变换的无参数全局建模能力，解决基于神经网络的全局特征提取效率低下的问题。
• 设计一种轻量级两阶段网络，在频域中提升亮度，同时利用基于 SNR 的特征交互在空间域中恢复细节。
• 在极低参数量下实现 SOTA 性能，提升效率而不损失质量。

提出的方法

• 该方法首先在傅里叶域中估计一个幅度变换图，通过缩放幅度谱的幅值来增强图像亮度。
• 在第二阶段引入信噪比（SNR）图，以指导全局傅里叶特征与局部空间特征的融合。
• SNR 图作为先验，选择性地强调信息丰富的区域，从而在特征融合过程中提升细节恢复能力。
• 网络采用 L1 损失、感知损失（基于 VGG）以及空间损失的组合进行训练，以保持结构与感知质量。
• 频域阶段完全在傅里叶域中运行，避免使用参数密集的模块（如 MLP 或 Transformer）。
• 该架构设计为轻量化，参数量极少——仅为近期 SOTA Transformer 方法的 0.31%，同时保持高性能。

实验结果

研究问题

• RQ1 傅里叶域中的幅度分量幅值能否有效提升低光照图像的亮度？
• RQ2 与基于神经网络的全局建模方法（如 MLP 或 Transformer）相比，基于傅里叶的全局特征提取在参数效率与性能方面表现如何？
• RQ3 信噪比（SNR）图能否有效引导全局频域特征与局部空间特征的融合，以实现细节恢复？
• RQ4 两阶段设计（先在频域增强亮度，再在空间域优化细节）是否优于端到端的空间方法？
• RQ5 所提出方法在成对与非成对的低光照图像数据集上是否具备良好的泛化能力？

主要发现

• FourLLIE 在四个基准数据集（LOL-Real、LOL-Synthetic、LSRW-Huawei 和 LSRW-Nikon）上均达到 SOTA 性能，PSNR 分别为 22.34、24.65、21.30 和 17.82。
• 在 LOL-Real 数据集上，FourLLIE 达到 PSNR 22.34 和 SSIM 0.8468，优于以往 SOTA 方法。
• 该方法保持了极高的效率，仅使用近期基于 SNR 敏感的 Transformer 的 SOTA 方法 0.31% 的参数量，同时实现更优性能。
• 消融实验表明，频域阶段与基于 SNR 的融合机制均至关重要，任一移除均导致性能显著下降。
• 该方法在非成对数据集（如 DICM 与 LIME）上也表现出良好泛化能力，生成图像视觉效果更优，伪影更少，纹理更清晰。
• 在 SICE 数据集上的曝光校正扩展实验中，该方法表现出色，PSNR 与 SSIM 均优于现有方法，验证了其更广泛的应用潜力。