[论文解读] Deep Class Aware Denoising

Tal Remez, Or Litany+2 more|arXiv (Cornell University)|Jan 6, 2017

Image and Signal Denoising Methods参考文献 52被引用 7

一句话总结

本文提出了一种类别感知的深度去噪框架，通过在特定语义图像类别（如人脸或花朵）上微调卷积神经网络（DenoiseNet），提升了图像去噪性能。通过利用预训练的图像分类器并按类别适配去噪器，该方法相较于无类别感知的基线模型，PSNR 最高提升 0.4 dB，表明语义感知显著提升了重建质量。

ABSTRACT

The increasing demand for high image quality in mobile devices brings forth the need for better computational enhancement techniques, and image denoising in particular. At the same time, the images captured by these devices can be categorized into a small set of semantic classes. However simple, this observation has not been exploited in image denoising until now. In this paper, we demonstrate how the reconstruction quality improves when a denoiser is aware of the type of content in the image. To this end, we first propose a new fully convolutional deep neural network architecture which is simple yet powerful as it achieves state-of-the-art performance even without being class-aware. We further show that a significant boost in performance of up to $0.4$ dB PSNR can be achieved by making our network class-aware, namely, by fine-tuning it for images belonging to a specific semantic class. Relying on the hugely successful existing image classifiers, this research advocates for using a class-aware approach in all image enhancement tasks.

研究动机与目标

• 为解决图像去噪中语义内容类别未被利用的问题，尽管其在移动摄影中普遍存在。
• 探究通过将去噪器针对特定语义图像类别进行定制，是否能够提升去噪性能。
• 证明在特定类别数据上微调通用去噪器可带来显著的性能提升。
• 探索使用现成图像分类器实现类别感知图像增强的可行性。
• 验证在高噪声条件下，最先进的图像分类器仍保持鲁棒性，从而可为去噪提供可靠的类别分配。

提出的方法

• 提出一种全卷积神经网络（DenoiseNet）作为强基线去噪器，在无类别感知的情况下即达到最先进性能。
• 使用特定语义类别（如人脸、花朵）的图像数据对网络进行微调。
• 利用预训练的图像分类器（如 ResNet）为输入图像分配语义标签，实现类别感知的自适应。
• 去噪过程是渐进式的：每一层估计并去除部分噪声，浅层处理平滑区域，深层则聚焦于边缘和纹理。
• 可视化各层的噪声估计，显示深层对边缘和轮廓恢复的贡献更大。
• 生成逐层贡献图，以识别在去噪过程中对每个像素值影响最大的网络层。

实验结果

研究问题

• RQ1 在去噪过程中引入语义类别信息是否能够提升图像去噪性能？
• RQ2 在特定类别数据上微调通用去噪器，对 PSNR 和视觉质量的提升程度如何？
• RQ3 网络中观察到的渐进式噪声去除行为是否与已知的有效去噪原理一致？
• RQ4 不同网络层在各类语义类别中对噪声估计和图像重建的贡献如何？
• RQ5 能否可靠地使用现成图像分类器为类别感知去噪任务分配语义类别？

主要发现

• 在特定类别数据上微调去噪器，相较于无类别感知基线，PSNR 最高提升 0.4 dB，性能显著提升。
• 类别感知去噪器生成了视觉质量更优的结果，显著减少了通用去噪器常引入的伪影，尤其在复杂纹理和面部特征区域表现更优。
• 去噪过程本质上是渐进式的：噪声在各层中逐步去除，浅层处理平滑区域，深层则聚焦于边缘和轮廓。
• 尽管未显式训练目标要求误差单调减少，但所有测试图像中，随着网络深度增加，重建误差持续下降。
• 对于大多数像素，前几层主导了去噪过程，而深层则用于细化边缘和纹理，表明采用分层处理策略。
• 网络内部各层的噪声估计揭示了不同角色：浅层检测局部噪声，深层则捕捉全局结构模式。