[论文解读] Learning Deep CNN Denoiser Prior for Image Restoration

Kai Zhang, Wangmeng Zuo+2 more|arXiv (Cornell University)|Apr 11, 2017

Image and Signal Denoising Methods参考文献 54被引用 127

一句话总结

论文训练快速CNN去噪器并将其作为模块化先验集成到基于模型的优化中（通过HQS/ADMM），以解决各种图像恢复任务，在去噪方面具有竞争力，并在去模糊和超分辨方面取得改进，且无需针对每个任务重新训练。

ABSTRACT

Model-based optimization methods and discriminative learning methods have been the two dominant strategies for solving various inverse problems in low-level vision. Typically, those two kinds of methods have their respective merits and drawbacks, e.g., model-based optimization methods are flexible for handling different inverse problems but are usually time-consuming with sophisticated priors for the purpose of good performance; in the meanwhile, discriminative learning methods have fast testing speed but their application range is greatly restricted by the specialized task. Recent works have revealed that, with the aid of variable splitting techniques, denoiser prior can be plugged in as a modular part of model-based optimization methods to solve other inverse problems (e.g., deblurring). Such an integration induces considerable advantage when the denoiser is obtained via discriminative learning. However, the study of integration with fast discriminative denoiser prior is still lacking. To this end, this paper aims to train a set of fast and effective CNN (convolutional neural network) denoisers and integrate them into model-based optimization method to solve other inverse problems. Experimental results demonstrate that the learned set of denoisers not only achieve promising Gaussian denoising results but also can be used as prior to deliver good performance for various low-level vision applications.

研究动机与目标

• 激励将基于模型的优化与判别式去噪器相结合，以实现灵活且快速的图像恢复。
• 学习一组快速的CNN去噪器，能够在HQS/ADMM类型框架中作为先验。
• 表明CNN去噪器先验在去噪、去模糊和超分辨方面提高性能，包括彩色图像。
• 探索在不同噪声水平和色彩通道下的去噪器实际训练策略。
• 展示速度-精度权衡并与最新的去噪和恢复方法进行比较。

提出的方法

• 将图像恢复形式化为通过HQS（半二次分裂）引入的基于去噪器的先验的MAP问题，以解耦保真度和正则化。
• 将正则化去噪项替换为由CNN实现的高斯去噪器，即z = Denoiser(x, sqrt(lambda/mu))。
• 设计一个含七层扩张卷积的CNN去噪器（感受野33×33），并使用批量归一化与残差学习以加速训练。
• 训练一组25个灰度/彩色去噪器，噪声水平在[0,50]，步长2，以支持多步HQS迭代。
• 使用较小的训练补丁（如35×35）以减少边界伪影，并利用带有Adam优化的残差学习。
• 在HQS中应用去噪器先验，以处理去模糊和单幅图像超分辨等多种逆问题，且无需为每个任务重新训练。

实验结果

研究问题

• RQ1 一组从数据中学得的快速CNN去噪器能否在基于模型的优化中作为模块化先验，有效应用于多种逆问题？
• RQ2 将基于CNN的去噪器整合到HQS/ADMM中，与传统先验（如BM3D、GMM）在去噪质量和恢复性能方面的比较？
• RQ3 哪些训练策略（颜色处理、补丁大小、噪声水平区间）能在跨任务中优化此类去噪器的实际使用？
• RQ4 由CNN建模的彩色去噪先验在彩色图像恢复中是否相对于灰度先验提供了实质性提升？
• RQ5 所提方法在去噪、去模糊和超分辨相对于最先进方法在PSNR和速度方面的表现如何？

主要发现

• 在BSD68的灰度去噪中，CNN去噪器在PSNR上比BM3D、WNNM、MLP和TNRD大约提升0.2 dB。
• 在CBM3D的彩色去噪中，所提CNN去噪器始终显著优于CBM3D。
• 去模糊中，所提方法在所测试的图像上获得的PSNR高于IDDBM3D、NCSR和MLP（例如Leaves: 29.78 dB，相比对手26.95–28.87 dB）。
• 在单幅图像超分辨率中，所提灰度和彩色去噪器在不重新训练的情况下处理多种内核，且实现具竞争力的PSNR，通常在非双三次降级下超过SRCNN/VDSR；例如在Set5/Set14的多种核下，Proposed_G/C表现出色。
• 该方法在GPU上展示出快速运行时间（例如在不同尺寸下，Proposed_64去噪为0.006–0.146 s），并具备有竞争力的CPU性能，提供有利的速度与准确性平衡。
• 实验表明，将学习得到的去噪器先验整合到HQS中，可以实现锐利的恢复并减少相对于许多传统先验的伪影。