[论文解读] Deep Learning on Image Denoising: An overview

Chunwei Tian, Lunke Fei+4 more|arXiv (Cornell University)|Dec 31, 2019

Image and Signal Denoising Methods参考文献 260被引用 27

一句话总结

本文全面综述了用于图像去噪的深度学习技术，将方法分类为加性白噪声、真实噪声图像、盲去噪以及混合噪声图像（例如，噪声、模糊、低分辨率）四种类型。文章分析了网络架构、训练策略与优化技术，对比了在基准数据集上最先进模型的表现，并指出了关键挑战，如真实噪声缺乏真实标签以及对感知准确度度量的需求。

ABSTRACT

Deep learning techniques have received much attention in the area of image denoising. However, there are substantial differences in the various types of deep learning methods dealing with image denoising. Specifically, discriminative learning based on deep learning can ably address the issue of Gaussian noise. Optimization models based on deep learning are effective in estimating the real noise. However, there has thus far been little related research to summarize the different deep learning techniques for image denoising. In this paper, we offer a comparative study of deep techniques in image denoising. We first classify the deep convolutional neural networks (CNNs) for additive white noisy images; the deep CNNs for real noisy images; the deep CNNs for blind denoising and the deep CNNs for hybrid noisy images, which represents the combination of noisy, blurred and low-resolution images. Then, we analyze the motivations and principles of the different types of deep learning methods. Next, we compare the state-of-the-art methods on public denoising datasets in terms of quantitative and qualitative analysis. Finally, we point out some potential challenges and directions of future research.

研究动机与目标

• 系统性地对不同噪声类型下的基于深度学习的图像去噪方法进行分类与比较。
• 分析各种深度卷积神经网络（CNN）架构用于去噪任务的底层原理与设计动机。
• 利用定量（PSNR、SSIM）与定性指标，在公开数据集上评估最先进模型的性能。
• 识别真实世界图像去噪中的持续性挑战，包括数据稀缺性与缺乏感知一致的度量标准。
• 提出未来研究方向，如自监督学习与模型压缩技术，以支持实时部署。

提出的方法

• 将深度学习方法分为四类：加性白噪声、真实噪声图像、盲去噪与混合噪声图像。
• 回顾关键网络架构，包括前馈网络、深度CNN与带有跳跃连接的残差网络。
• 分析优化技术，如均方误差（MSE）损失、最大后验概率（MAP）估计与原始-对偶方法。
• 评估数据增强策略，包括翻转、颜色抖动以及基于GAN的合成噪声图像生成。
• 探索迁移学习、神经架构搜索与模型压缩技术（如剪枝、分组卷积）以提升效率。
• 提出一种两阶段级联框架用于混合退化任务，其中先进行超分辨率重建，再通过独立的CNN进行去噪。

实验结果

研究问题

• RQ1 不同深度学习架构在加性白噪声、真实噪声及混合退化等各类噪声类型下的表现如何？
• RQ2 哪些关键设计原则与优化策略能有效提升深度CNN在去噪任务中的性能？
• RQ3 为何现有度量指标如PSNR与SSIM无法准确反映去噪图像的感知质量？
• RQ4 如何利用自监督或无监督学习来应对真实噪声图像去噪中缺乏真实标签的问题？
• RQ5 在真实世界去噪任务中训练深度网络面临的主要挑战是什么？如何提升模型效率？

主要发现

• 深度CNN在高斯噪声去噪任务中表现达到最先进水平，尤其在采用残差学习与跳跃连接时效果显著。
• 对于真实噪声图像，采用自监督学习或两阶段级联网络（如先超分辨率后去噪）的方法虽无真实标签，仍表现出强大性能。
• 数据增强与基于GAN生成的合成噪声图像可有效提升模型的泛化能力与鲁棒性。
• 模型压缩技术（如剪枝、小卷积核与分组卷积）可在几乎不损失准确率的前提下减小模型尺寸与推理时间。
• PSNR与SSIM指标不足以评估感知质量，常偏好输出过于平滑而缺乏细节的图像。
• 主要挑战依然存在：真实噪声训练数据有限、无监督任务中深层网络训练不稳定，以及亟需与人类感知对齐的评估指标。