[论文解读] End-to-End Denoising of Dark Burst Images Using Recurrent Fully Convolutional Networks

Di Zhao, Lan Ma+2 more|arXiv (Cornell University)|Apr 16, 2019

Image and Signal Denoising Methods参考文献 19被引用 8

一句话总结

本文提出一种循环全卷积网络（RFCN），可端到端地对极低光照条件下拍摄的原始图像序列进行去噪，直接将输入映射为增强的sRGB输出。该模型通过利用帧间的时间一致性，在性能上超越了当前最先进方法，并在无需微调的情况下展现出强大的跨相机泛化能力。

ABSTRACT

When taking photos in dim-light environments, due to the small amount of light entering, the shot images are usually extremely dark, with a great deal of noise, and the color cannot reflect real-world color. Under this condition, the traditional methods used for single image denoising have always failed to be effective. One common idea is to take multiple frames of the same scene to enhance the signal-to-noise ratio. This paper proposes a recurrent fully convolutional network (RFCN) to process burst photos taken under extremely low-light conditions, and to obtain denoised images with improved brightness. Our model maps raw burst images directly to sRGB outputs, either to produce a best image or to generate a multi-frame denoised image sequence. This process has proven to be capable of accomplishing the low-level task of denoising, as well as the high-level task of color correction and enhancement, all of which is end-to-end processing through our network. Our method has achieved better results than state-of-the-art methods. In addition, we have applied the model trained by one type of camera without fine-tuning on photos captured by different cameras and have obtained similar end-to-end enhancements.

研究动机与目标

• 解决在极低信噪比条件下单帧方法失效的去噪挑战，这些条件通常出现在极低光照环境（如<3 lux）中。
• 克服传统单图像去噪流水线在预处理阶段丢失信息的局限性。
• 开发一种端到端框架，直接将原始图像序列输入映射为高质量的sRGB输出，实现去噪、亮度增强与色彩校正的联合处理。
• 通过在一种相机的数据上进行训练并直接应用于其他相机而无需微调，实现跨平台可移植性。
• 通过生成单张最佳图像或一系列去噪帧，实现输出灵活性，为未来扩展至视频去噪提供支持。

提出的方法

• 设计一种循环全卷积网络（RFCN），逐帧处理原始图像序列，利用循环连接在时间维度上聚合与优化特征。
• 集成类似U-Net的编码器-解码器结构，并引入残差跳跃连接，以保留空间细节并提升特征学习能力。
• 直接处理原始Bayer图案输入，避免去马赛克过程，从而保留完整传感器数据，避免传统流水线中的信息损失。
• 采用端到端训练策略，损失函数同时优化像素级重建（如L1或L2损失）与感知质量。
• 使用相机特定的黑电平对输入进行归一化，并重新组织Bayer图案，以确保在不同传感器类型间的兼容性。
• 通过循环门控机制，使每一帧的特征表示能够借助前序帧的信息，实现时间一致性建模。

实验结果

研究问题

• RQ1 端到端深度学习模型是否能有效对极低光照条件（如<3 lux）下的原始图像序列进行去噪与增强，而这些条件中单帧方法已失效？
• RQ2 与非循环或单帧基线相比，通过利用多帧间的时间一致性，循环全卷积网络架构是否能显著提升去噪性能？
• RQ3 在未进行微调的情况下，基于某一相机原始图像序列训练的模型在其他相机上泛化的程度如何，体现了其跨平台可移植性？
• RQ4 同一框架是否既能生成单张增强图像，也能输出一系列去噪帧，从而为未来扩展至视频去噪提供支持？
• RQ5 直接处理原始数据是否能获得优于处理去马赛克或预处理图像的感知质量与定量指标？

主要发现

• 在SID数据集上，所提出的RFCN实现了30.75的平均PSNR和0.822的SSIM，优于基线平均值（30.06 PSNR，0.808 SSIM）。
• 与基线相比，PSNR提升了0.69 dB，SSIM提高了0.014，表明在重建精度与结构相似性方面均有显著提升。
• 在10帧序列中，PSNR与SSIM值随帧数递增，表明循环处理机制能通过逐帧优化逐步提升图像质量。
• 该模型在未进行微调的情况下成功泛化至其他相机的原始图像序列，跨设备均生成视觉一致且高质量的结果。
• 视觉对比显示，RFCN在保留文本、叶片纹理与结构轮廓等精细细节方面，显著优于基于平均值的基线方法。
• 该框架在多种极低光照场景中保持稳定性能，包括室内黑暗环境（约0.1 lux）与月光照明条件（约0.6 lux），证实其在极端光照条件下的鲁棒性。