[论文解读] Deep Mean-Shift Priors for Image Restoration

Siavash Bigdeli, Meiguang Jin+2 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Image Processing Techniques参考文献 25被引用 67

一句话总结

提出一种贝叶斯图像恢复框架，使用高斯平滑的自然图像分布作为先验，通过去噪自编码器学习以获得均值漂移梯度，从而实现对噪声无感的去模糊、超分辨率和去马赛克恢复，结果具有竞争力。

ABSTRACT

In this paper we introduce a natural image prior that directly represents a Gaussian-smoothed version of the natural image distribution. We include our prior in a formulation of image restoration as a Bayes estimator that also allows us to solve noise-blind image restoration problems. We show that the gradient of our prior corresponds to the mean-shift vector on the natural image distribution. In addition, we learn the mean-shift vector field using denoising autoencoders, and use it in a gradient descent approach to perform Bayes risk minimization. We demonstrate competitive results for noise-blind deblurring, super-resolution, and demosaicing.

研究动机与目标

• 通过利用表示高斯平滑的自然图像分布的先验，推动在病态退化下的图像恢复。
• 引入一个深度均值漂移先验，并显示其梯度在自然图像分布上与均值漂移向量相匹配。
• 通过使用平滑后密度先验来构造贝叶斯估计，实现对噪声无感的恢复。
• 在去模糊、超分辨率和去马赛克方面展示具有竞争力的结果。

提出的方法

• 定义一个贝叶斯估计目标，将数据保真度与高斯平滑先验项结合。
• 将先验表示为高斯平滑的自然图像分布 p'(x) 的对数。
• 利用去噪自编码器通过均值漂移向量学习对数先验的梯度，将 DAE 的残差与先验梯度相关联。
• 推导一个界限，将目标分解为数据项和先验项，并应用 Jensen 不等式。
• 采用带噪声增广的随机梯度下降，以解决 DAE 过拟合并执行迭代恢复。
• 提供非盲、噪声自适应和核盲去模糊的梯度下降更新，以及对超分辨率和去马赛克的扩展。

实验结果

研究问题

• RQ1 高斯平滑的自然图像分布能否作为各种恢复任务的通用先验？
• RQ2 如何高效学习并将该先验的梯度整合到贝叶斯估计框架中？
• RQ3 无噪声感知的表述是否提高了对未知退化参数在各种恢复任务中的鲁棒性？
• RQ4 所得恢复在去模糊、超分辨率和去马赛克方面是否具有与最先进方法的竞争力？

主要发现

• 推导并利用梯度下降对使用高斯平滑自然图像先验的贝叶斯估计进行优化。
• DAEs 可以通过均值漂移向量学习对数先验的梯度，实现实用的先验梯度。
• 该方法支持无噪声感知的去模糊、超分辨率和去马赛克，并且结果与现有方法具有竞争力。
• 带噪声增广的随机先验梯度有助于缓解 DAE 过拟合并改进优化。
• 该方法在无噪声感知去模糊、超分辨率和去马赛克基准测试中具有竞争力，报告的每次迭代每百万像素约 0.2 秒的运行时间，基于 Titan X (Pascal)。
• 实验覆盖非盲、噪声自适应、核盲去模糊，Set5/Set14 的超分辨率，以及 Panasonic 数据集的去马赛克。