[论文解读] Deep Convolutional Denoising of Low-Light Images

Tal Remez, Or Litany+2 more|arXiv (Cornell University)|Jan 6, 2017

Image and Signal Denoising Methods参考文献 8被引用 37

一句话总结

本文提出DenoiseNet，一种用于低光照图像泊松去噪的深度卷积残差神经网络，通过在合成噪声数据上端到端训练，无需显式噪声建模。其通过隐式学习复杂噪声模式，实现了最先进性能，PSNR相比之前方法最高提升0.6 dB，且相比非卷积类方法提速10倍；当在特定图像类别（如人脸或风景）上训练时，性能进一步提升。

ABSTRACT

Poisson distribution is used for modeling noise in photon-limited imaging. While canonical examples include relatively exotic types of sensing like spectral imaging or astronomy, the problem is relevant to regular photography now more than ever due to the booming market for mobile cameras. Restricted form factor limits the amount of absorbed light, thus computational post-processing is called for. In this paper, we make use of the powerful framework of deep convolutional neural networks for Poisson denoising. We demonstrate how by training the same network with images having a specific peak value, our denoiser outperforms previous state-of-the-art by a large margin both visually and quantitatively. Being flexible and data-driven, our solution resolves the heavy ad hoc engineering used in previous methods and is an order of magnitude faster. We further show that by adding a reasonable prior on the class of the image being processed, another significant boost in performance is achieved.

研究动机与目标

• 解决低光照移动摄影中的泊松噪声问题，其源于传感器限制导致的光子匮乏成像。
• 开发一种快速、数据驱动的替代方法，以替代依赖人工工程与假设（如非局部相似性或稀疏编码）的传统基于模型的去噪方法。
• 探究引入图像类别先验是否能超越通用类别网络的去噪性能。
• 证明深度学习可隐式学习复杂噪声结构，而无需显式噪声建模。

提出的方法

• 在具有特定峰值强度值的合成泊松噪声图像上，端到端训练一个全卷积残差网络（DenoiseNet）。
• 网络采用跳跃连接与残差学习，以稳定训练过程并提升多层网络的特征学习能力。
• 针对类别感知去噪，网络在特定语义类别（如人脸、花朵、街道）的图像子集上进行微调，实现专用噪声估计。
• 模型利用深度卷积神经网络的内在表征能力，隐式学习从噪声图像到干净图像的复杂非线性映射，无需显式噪声建模。
• 未使用方差稳定变换（VST）；相反，网络直接从原始泊松分布数据中学习去噪。
• 架构针对GPU推理进行了优化，实现比以往非卷积类基于模型的方法快数个数量级的实时性能。

实验结果

研究问题

• RQ1 深度卷积神经网络是否能在不显式噪声建模的情况下，超越传统基于模型的泊松去噪方法？
• RQ2 在低光照图像去噪中，通用类别去噪器与特定类别去噪器的性能相比如何？
• RQ3 网络是否在各层中逐步减少噪声，且该过程在不同图像类型中是否具有一致性？
• RQ4 网络是否能在未显式训练于噪声统计特性的情况下，隐式学习泊松噪声的结构？

主要发现

• 通用类别DenoiseNet在多个数据集上相比I+VST+BM3D基线方法PSNR最高提升0.6 dB，证明其达到最先进性能。
• 在特定图像类别上微调后，DenoiseNet在PSNR上额外获得0.15至0.31 dB的提升，表明语义先验具有显著优势。
• 视觉对比显示，与之前方法相比，DenoiseNet生成的结果更自然，伪影更少，尤其在纹理与边缘区域表现更优。
• 网络在各层中呈现重建误差单调下降趋势，表明去噪过程稳定且逐步推进。
• 逐层贡献度图显示，浅层主要负责大部分噪声抑制，而深层则专注于边缘与纹理的精细化处理。
• 混淆矩阵证实，特定类别去噪器在各自语义类别上具有专业化特征，对角线主导性表明类别感知性能准确度高。