[论文解读] Image denoising with multi-layer perceptrons, part 1: comparison with existing algorithms and with bounds

Harold Christopher Burger, Christian J. Schuler+1 more|arXiv (Cornell University)|Nov 7, 2012

Image and Signal Denoising Methods参考文献 50被引用 58

一句话总结

本文提出一种基于多层感知机（MLP）的图像去噪方法，通过大规模训练数据直接学习从含噪图像块到干净图像块的映射。该方法在高斯噪声水平较高的情况下显著优于BM3D和NLSC等最先进方法，并通过使用更大图像块和违反标准假设，超越了理论性能上限。此外，该方法在JPEG伪影和混合泊松-高斯噪声等非高斯噪声类型上也表现出良好的泛化能力。

ABSTRACT

Image denoising can be described as the problem of mapping from a noisy image to a noise-free image. The best currently available denoising methods approximate this mapping with cleverly engineered algorithms. In this work we attempt to learn this mapping directly with plain multi layer perceptrons (MLP) applied to image patches. We will show that by training on large image databases we are able to outperform the current state-of-the-art image denoising methods. In addition, our method achieves results that are superior to one type of theoretical bound and goes a large way toward closing the gap with a second type of theoretical bound. Our approach is easily adapted to less extensively studied types of noise, such as mixed Poisson-Gaussian noise, JPEG artifacts, salt-and-pepper noise and noise resembling stripes, for which we achieve excellent results as well. We will show that combining a block-matching procedure with MLPs can further improve the results on certain images. In a second paper, we detail the training trade-offs and the inner mechanisms of our MLPs.

研究动机与目标

• 探究简单的端到端MLP是否能超越手工设计的最先进图像去噪算法（如BM3D和NLSC）。
• 评估MLP在理论去噪边界下的性能表现，特别是针对限制现有方法性能的假设条件。
• 评估MLP在非加性白高斯噪声（非-AWG）类型（如条纹噪声、椒盐噪声、JPEG伪影和混合泊松-高斯噪声）下的泛化能力。
• 探索将块匹配与MLP结合是否能提升性能，尤其是在具有重复结构的图像上。
• 理解架构、图像块大小和训练数据规模等因素在去噪质量与泛化能力之间的权衡关系。

提出的方法

• 该方法在大规模含噪-干净图像块对数据集上训练多层感知机（MLP），学习从含噪块到去噪块的直接映射。
• 图像去噪通过将输入图像划分为重叠图像块，独立使用训练好的MLP对每个图像块进行去噪，然后重建完整图像完成。
• 该方法采用GPU加速推理，实现每张图像去噪时间低于5秒，并可通过在对应合成数据上重新训练，适配多种噪声模型。
• 为提升在结构化图像上的性能，将块匹配过程与MLP结合，利用图像内部的自相似性，通过协同过滤增强去噪效果。
• 通过标准指标（PSNR）在多样化测试图像和噪声水平（包括高方差高斯噪声）下评估方法性能。
• 与基于聚类的理论边界（Chatterjee & Milanfar, 2010）和贝叶斯图像块边界（Levin & Nadler, 2011）进行理论比较，分析在不同图像块大小下的结果。

实验结果

研究问题

• RQ1 一个简单、非学习型的端到端MLP架构能否超越高度工程化的最先进去噪算法（如BM3D和NLSC）？
• RQ2 基于MLP的去噪方法在多大程度上能超越理论性能边界？在何种条件下会出现这种超越？
• RQ3 MLP在不同类型的噪声（包括JPEG伪影和混合泊松-高斯噪声等非-AWG噪声）下的性能表现如何？
• RQ4 将块匹配与MLP结合是否能提升在具有重复或结构化模式图像上的去噪性能？
• RQ5 决定MLP去噪成功的关键因素是什么？包括图像块大小、网络深度和训练数据规模等架构与训练因素。

主要发现

• 在某些图像上，MLP方法比BM3D高出超过1.5 dB，在其他图像上则超过3 dB，尤其在高噪声水平下表现更优。
• 该方法通过违反图像块聚类假设，超越了基于聚类的理论边界，表明此类边界在实际中并不紧致。
• MLP在有限图像块大小下仍超越了贝叶斯图像块边界估计值，其性能更接近于无限图像块大小下的理论极限。
• 该方法在混合泊松-高斯噪声和JPEG量化伪影上也实现了具有竞争力的性能，优于现有方法。
• 结合块匹配的MLP在结构化图像（如'Barbara'和'House'）上提升了去噪效果，但代价是训练和推理时间增加。
• 该方法已接近理论可能性能极限的一半，表明其在逼近理论性能上限方面取得了显著进展。