[论文解读] Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination Conditions via Fourier Adversarial Networks

Pranjay Shyam, Sandeep Singh Sengar+2 more|arXiv (Cornell University)|Apr 4, 2022

Image Enhancement Techniques被引用 8

一句话总结

本文提出了一种轻量级、两阶段的图像信号处理（ISP）流水线，用于HDR相机成像，通过傅里叶对抗网络在动态光照条件下提升鲁棒性。通过利用频域先验和紧凑的多尺度特征提取机制，该方法提升了光照平衡与噪声抑制效果，在计算成本极低的同时实现了最先进性能，并增强了目标检测和语义分割等下游感知任务的表现。

ABSTRACT

The limited dynamic range of commercial compact camera sensors results in an inaccurate representation of scenes with varying illumination conditions, adversely affecting image quality and subsequently limiting the performance of underlying image processing algorithms. Current state-of-the-art (SoTA) convolutional neural networks (CNN) are developed as post-processing techniques to independently recover under-/over-exposed images. However, when applied to images containing real-world degradations such as glare, high-beam, color bleeding with varying noise intensity, these algorithms amplify the degradations, further degrading image quality. We propose a lightweight two-stage image enhancement algorithm sequentially balancing illumination and noise removal using frequency priors for structural guidance to overcome these limitations. Furthermore, to ensure realistic image quality, we leverage the relationship between frequency and spatial domain properties of an image and propose a Fourier spectrum-based adversarial framework (AFNet) for consistent image enhancement under varying illumination conditions. While current formulations of image enhancement are envisioned as post-processing techniques, we examine if such an algorithm could be extended to integrate the functionality of the Image Signal Processing (ISP) pipeline within the camera sensor benefiting from RAW sensor data and lightweight CNN architecture. Based on quantitative and qualitative evaluations, we also examine the practicality and effects of image enhancement techniques on the performance of common perception tasks such as object detection and semantic segmentation in varying illumination conditions.

研究动机与目标

• 解决当前最先进（SoTA）低光照图像增强（LLIE）方法在真实世界退化（如眩光、色彩溢出和可变噪声）下失效的局限性。
• 开发一种轻量级、两阶段的图像增强流水线，首先进行光照平衡，然后利用频域先验去除噪声和伪影。
• 通过处理RAW传感器数据，将所提出的增强算法集成到相机ISP流水线中，以提升端到端图像质量并减轻后期处理负担。
• 评估图像增强对下游感知任务（如目标检测和语义分割）在不同光照条件下的影响。
• 证明基于GAN的增强方法通过傅里叶对抗训练，相比非对抗基线方法，能生成更具自然感、结构更忠实的图像。

提出的方法

• 设计两阶段网络：第一阶段使用紧凑的多尺度特征提取模块结合通道注意力机制，聚合不同感受野的特征，实现粗粒度光照平衡。
• 第二阶段专注于噪声和伪影去除，同时保持增强图像的结构与纹理保真度。
• 引入基于傅里叶谱的对抗框架（AFNet），利用空间域与频域属性之间的对偶性，确保在不同光照条件下的一致性增强。
• 利用快速傅里叶变换（FFT）分析幅度和相位分量，利用光照充足图像中的高频内容作为结构先验以实现增强。
• 通过频域损失训练对抗网络，以促进真实纹理的恢复并减少高频失真。
• 通过处理去马赛克后的RAW图像，将模型集成到相机ISP流水线中，实现实时、传感器级增强，显著降低计算开销。

实验结果

研究问题

• RQ1 轻量级、两阶段图像增强流水线是否能在最小化计算成本的同时，提升在动态光照条件下的鲁棒性？
• RQ2 通过傅里叶谱分析引入的频域先验在多大程度上能提升低光照图像的结构保真度并减少伪影？
• RQ3 与非对抗基线方法相比，基于GAN的对抗框架在傅里叶域特征上进行训练，能在多大程度上提升图像的真实感和感知质量？
• RQ4 直接将图像增强集成到使用RAW数据的相机ISP流水线中，是否能优于在sRGB图像上进行后期处理？
• RQ5 在具有挑战性的光照条件下，图像增强对目标检测和语义分割等下游感知任务的性能有何影响？

主要发现

• 所提出的AFNet在LOL数据集上达到最先进性能，PSNR为29.15，LPIPS为0.29，优于URIE和EnlightenGAN等SoTA方法。
• 两阶段架构在保持高质量输出的同时减小了模型尺寸和推理时间，适用于边缘设备部署。
• 使用频域先验显著提升了高频内容的恢复效果，功率谱密度（PSD）曲线显示边缘和纹理表征得到增强。
• 在ExDark数据集上应用Deformable DETR进行目标检测时，增强图像相比原始低光照输入，mAP相对提升了25%。
• 将模型重新配置为处理去马赛克RAW图像，实现了与专用RAW增强模型（如RAW2RGB-GAN）相当的性能，但计算成本更低（1.8 GMACs vs. 2.1 GMACs）。
• 通过AFNet进行GAN训练生成的图像更具自然感，NIQE（0.82）和LPIPS（0.29）得分更低，表明感知质量更高且失真更少。