[论文解读] Embedding Fourier for Ultra-High-Definition Low-Light Image Enhancement

Chongyi Li, Chunle Guo+5 more|arXiv (Cornell University)|Feb 23, 2023

Advanced Image Processing Techniques被引用 43

一句话总结

本文提出 UHDFour，一种在傅里叶域中嵌入的网络，分别处理亮度和噪声以实现 UHD 低光图像增强，并首次给出真实的 UHD LLIE 数据集 UHD-LL。

ABSTRACT

Ultra-High-Definition (UHD) photo has gradually become the standard configuration in advanced imaging devices. The new standard unveils many issues in existing approaches for low-light image enhancement (LLIE), especially in dealing with the intricate issue of joint luminance enhancement and noise removal while remaining efficient. Unlike existing methods that address the problem in the spatial domain, we propose a new solution, UHDFour, that embeds Fourier transform into a cascaded network. Our approach is motivated by a few unique characteristics in the Fourier domain: 1) most luminance information concentrates on amplitudes while noise is closely related to phases, and 2) a high-resolution image and its low-resolution version share similar amplitude patterns.Through embedding Fourier into our network, the amplitude and phase of a low-light image are separately processed to avoid amplifying noise when enhancing luminance. Besides, UHDFour is scalable to UHD images by implementing amplitude and phase enhancement under the low-resolution regime and then adjusting the high-resolution scale with few computations. We also contribute the first real UHD LLIE dataset, extbf{UHD-LL}, that contains 2,150 low-noise/normal-clear 4K image pairs with diverse darkness and noise levels captured in different scenarios. With this dataset, we systematically analyze the performance of existing LLIE methods for processing UHD images and demonstrate the advantage of our solution. We believe our new framework, coupled with the dataset, would push the frontier of LLIE towards UHD. The code and dataset are available at https://li-chongyi.github.io/UHDFour.

研究动机与目标

• 通过利用傅里叶域特性，推动对 Ultra-High-Definition (UHD) 图像的高效 LLIE。
• 将亮度（振幅）与噪声（相位）解耦，以避免在亮度增强过程中放大噪声。
• 证明振幅模式在不同分辨率上相似，从而实现低分辨率处理并辅以高分辨率的调整。
• 引入一个真实的 UHD LLIE 数据集 (UHD-LL)，并在 UHD 数据上对现有 LLIE 方法进行基准测试。

提出的方法

• 将傅里叶变换嵌入级联网络（LRNet 和 HRNet），以分别增强振幅和相位。
• 使用 FouSpa 块，在傅里叶域处理振幅和相位，并辅以空间分支。
• 在 LRNet 中，下采样到 1/8 分辨率，提取细化的振幅 A_r 和相位 P_r，并估计低分辨率的 RGB 图像 y_8。
• 在 HRNet 中，应用带有振幅调制（AM）和相位引导（PG）的调整块，使用细化的傅里叶特征，然后上采样到高分辨率以得到最终图像 y。
• 用混合损失训练：在 y_8 上结合 L1、感知损失，在 y 上结合 SSIM 与基于 VGG 的损失。

实验结果

研究问题

• RQ1 一个傅里叶域的亮度与噪声分解是否能比空间域方法提升 UHD 图像的 LLIE？
• RQ2 是否通过具有傅里叶基准调整的低分辨率处理阶段就能在降低计算量的同时产生高质量的 UHD 结果？
• RQ3 真实的 UHD LLIE 数据集（UHD-LL）如何揭示现有 LLIE 方法在 UHD 数据上的局限性？
• RQ4 傅里叶分支、空间分支和调整块组件对最终性能的相对贡献是什么？

主要发现

• UHDFour 在重新在 UHD-LL 上训练后，在 UHD LLIE 上达到最先进的性能，例如 PSNR 26.226、SSIM 0.900 和 LPIPS 0.239。
• UHDFour 在 UHD 输入上运行最快，因为大部分计算发生在低分辨率空间（LRNet）。
• 与经再训练的方法（如 SNR-Aware、Uformer、Restormer）相比，UHDFour 在 UHD-LL 数据集上获得最佳的 PSNR/SSIM/LPIPS。
• 消融研究表明去除傅里叶分支或调整块组件会降低性能，凸显了傅里叶域处理和 LR-to-HR 融合的必要性。