[论文解读] DPFNet: A Dual-branch Dilated Network with Phase-aware Fourier Convolution for Low-light Image Enhancement

Yunliang Zhuang, Zhuoran Zheng+1 more|arXiv (Cornell University)|Sep 16, 2022

Image Enhancement Techniques被引用 13

一句话总结

DPFNet 提出了一种双分支卷积网络，通过使用相位感知傅里叶卷积模块和多感受野空洞卷积，联合利用空间域与频域特征来增强低光照图像。该方法在公开基准上实现了最先进性能，在 LOL 数据集上相比之前最先进方法，PSNR 提升 1.23 dB，SSIM 提升 0.012，通过新型傅里叶损失和自适应融合模块，显著提升了纹理细节和自然视觉质量。

ABSTRACT

Low-light image enhancement is a classical computer vision problem aiming to recover normal-exposure images from low-light images. However, convolutional neural networks commonly used in this field are good at sampling low-frequency local structural features in the spatial domain, which leads to unclear texture details of the reconstructed images. To alleviate this problem, we propose a novel module using the Fourier coefficients, which can recover high-quality texture details under the constraint of semantics in the frequency phase and supplement the spatial domain. In addition, we design a simple and efficient module for the image spatial domain using dilated convolutions with different receptive fields to alleviate the loss of detail caused by frequent downsampling. We integrate the above parts into an end-to-end dual branch network and design a novel loss committee and an adaptive fusion module to guide the network to flexibly combine spatial and frequency domain features to generate more pleasing visual effects. Finally, we evaluate the proposed network on public benchmarks. Extensive experimental results show that our method outperforms many existing state-of-the-art ones, showing outstanding performance and potential.

研究动机与目标

• 为解决标准 CNN 在低光照图像增强过程中难以保留高频纹理细节的局限性。
• 将频域信息——特别是相位语义——整合到空间域重建过程中，以提升细节恢复能力。
• 通过多感受野空洞卷积减少编码器-解码器架构中因重复下采样导致的细节损失。
• 利用自适应融合模块和新型傅里叶损失函数，实现空间域与频域特征的平衡融合。
• 在真实世界和基准数据集上实现端到端增强，提升感知质量和鲁棒性。

提出的方法

• 设计了一种相位感知傅里叶卷积模块，利用共享内存权重在傅里叶域中动态结合幅值与相位，以增强特征表示。
• 在空间分支中使用不同膨胀率的空洞卷积，以扩展感受野并减少因下采样导致的特征损失。
• 采用双分支网络架构并行处理空间与频域特征，实现局部与全局图像特征的联合学习。
• 自适应融合模块结合双分支特征，根据输入内容动态调整各分支的贡献。
• 损失委员会包含 SSIM 损失、傅里叶损失和感知损失以指导训练：SSIM 确保结构保真度，傅里叶损失增强高频细节感知，感知损失提升输出自然度。
• 傅里叶损失专门设计用于通过比较增强图像与真实图像的相位和幅值分量，对频域重建进行正则化。

实验结果

研究问题

• RQ1 相位感知傅里叶卷积是否能通过利用相位语义信息，提升低光照图像增强中的纹理细节恢复能力？
• RQ2 与标准下采样 CNN 相比，使用多尺度感受野的空洞卷积是否能更有效地减少细节损失？
• RQ3 双分支网络架构是否能有效整合空间与频域特征，从而实现更优的增强性能？
• RQ4 傅里叶损失与自适应融合模块的引入，对增强结果的感知质量与稳定性有何影响？
• RQ5 所提方法在真实世界低光照图像上的泛化能力如何，是否超越了合成基准的性能表现？

主要发现

• 在 LOL 数据集上，DPFNet 实现了 24.15 dB 的 PSNR 和 0.849 的 SSIM，相比之前最先进方法 LLFlow，PSNR 提升 1.23 dB，SSIM 提升 0.012。
• 在 MIT-5K 数据集上，DPFNet 实现了 25.33 dB 的 PSNR 和 0.910 的 SSIM，显著优于其他最先进方法。
• 消融实验表明，与基线 MDCM 相比，添加相位感知傅里叶模块后，PSNR 在 LOL 数据集上提升 2.51 dB，在 MIT-5K 数据集上提升 0.92 dB。
• 自适应融合模块在 LOL 数据集上带来额外 0.48 dB 的 PSNR 提升，在 MIT-5K 数据集上带来 0.49 dB 的提升，证明其在平衡域间特征方面的有效性。
• 视觉对比显示，与 BIMEF、LIME、KinD++ 和 LLFlow 相比，DPFNet 生成的图像在边缘和细粒度细节区域具有更锐利的纹理和更少的伪影。
• 在损失委员会中引入感知损失后，输出结果更具自然感，有效缓解了仅使用傅里叶损失时出现的过度增强现象。