[论文解读] Image Restoration using Autoencoding Priors

Siavash Bigdeli, Matthias Zwicker|arXiv (Cornell University)|Mar 29, 2017

Advanced Image Processing Techniques被引用 35

一句话总结

本文提出了一种基于去噪自编码器（DAE）的通用自然图像先验，其中自编码器误差的幅值（均值漂移向量）作为负对数似然先验。通过在恢复过程中使用梯度下降最小化该幅值，该方法在不针对不同模糊核或放大倍数进行微调的情况下，仅使用一个预训练的DAE，即在非盲去卷积和超分辨率任务中实现了最先进（SOTA）的结果。

ABSTRACT

We propose to leverage denoising autoencoder networks as priors to address image restoration problems. We build on the key observation that the output of an optimal denoising autoencoder is a local mean of the true data density, and the autoencoder error (the difference between the output and input of the trained autoencoder) is a mean shift vector. We use the magnitude of this mean shift vector, that is, the distance to the local mean, as the negative log likelihood of our natural image prior. For image restoration, we maximize the likelihood using gradient descent by backpropagating the autoencoder error. A key advantage of our approach is that we do not need to train separate networks for different image restoration tasks, such as non-blind deconvolution with different kernels, or super-resolution at different magnification factors. We demonstrate state of the art results for non-blind deconvolution and super-resolution using the same autoencoding prior.

研究动机与目标

• 为解决图像恢复中欠定问题，提出一种强大且通用的自然图像先验。
• 消除在非盲去卷积（使用不同模糊核）或不同尺度超分辨率等恢复任务中对特定任务网络微调的需求。
• 利用去噪自编码器的几何特性——特别是其输出是真实数据密度的局部均值——来定义基于似然的先验。
• 通过单一学习到的先验，实现对多种图像退化类型的灵活、基于梯度的优化。

提出的方法

• 该方法使用预训练的去噪自编码器（DAE）计算均值漂移向量，即输入与自编码器输出之间的差异。
• 该均值漂移向量的幅值被用作负对数似然先验，表示与自然图像分布中局部均值的距离。
• 通过梯度下降进行图像恢复，最小化先验能量，同时满足基于已知退化模型的数据保真度项。
• 优化过程通过迭代将解向自然图像流形中的局部均值方向移动，从而提升感知质量并减少伪影。
• 相同的预训练DAE被应用于多个任务（非盲去卷积、超分辨率、图像修复）而无需微调。
• 该方法对不同类型的退化（包括模糊、噪声和缺失像素）具有鲁棒性，已在消融研究中得到验证。

实验结果

研究问题

• RQ1 一个预训练的去噪自编码器能否作为多种图像恢复任务的通用先验？
• RQ2 自编码器误差的幅值（均值漂移向量）是否能有效建模自然图像的似然性，从而提升恢复质量？
• RQ3 基于该先验的梯度优化方法能否在不同模糊核的非盲去卷积任务中超越特定任务设计的深度神经网络？
• RQ4 该方法是否能在不重新训练的情况下，对多种放大倍数的超分辨率任务保持有效性？
• RQ5 该先验能否处理非均匀退化（如噪声和缺失像素）？

主要发现

• 在Kodak数据集上，该方法在非盲去模糊任务中实现了29.92 dB的最先进PSNR，优于先前方法（Levin等人：28.96 dB；Fortunato & Oliveira：29.25 dB）。
• 在超分辨率任务中，相同的DAE先验在无需微调的情况下，对多个放大倍数均实现了最先进性能，展现出跨尺度的泛化能力。
• 在不同噪声水平（σ = 2.55, 7.65, 12.75）的非盲去卷积任务中，该方法分别实现了29.92 dB、28.63 dB和27.37 dB的平均PSNR，优于现有方法。
• 该方法成功恢复了70%像素被遮挡、且含10%噪声的图像，PSNR达到31.05 dB，表明对缺失数据和噪声具有强鲁棒性。
• 该方法对多种退化类型具有泛化能力：在模糊和噪声退化上表现良好，并可扩展至图像修复任务，表明DAE先验具有广泛适用性。
• 尽管性能优异，该方法在纯图像去噪任务中尚未达到最先进水平，提示可能需要自适应核宽或参数调优。