[论文解读] DeepRED: Deep Image Prior Powered by RED

Gary Mataev, Michael Elad+1 more|arXiv (Cornell University)|Mar 25, 2019

Image and Signal Denoising Methods参考文献 33被引用 35

一句话总结

DeepRED 将 Deep Image Prior 与 Regularization by Denoising 结合起来，使用 ADMM 联合优化生成网络和基于去噪器的先验，从而在去噪、超分辨率和去模糊等方面提升无监督图像恢复的效果。

ABSTRACT

Inverse problems in imaging are extensively studied, with a variety of strategies, tools, and theory that have been accumulated over the years. Recently, this field has been immensely influenced by the emergence of deep-learning techniques. One such contribution, which is the focus of this paper, is the Deep Image Prior (DIP) work by Ulyanov, Vedaldi, and Lempitsky (2018). DIP offers a new approach towards the regularization of inverse problems, obtained by forcing the recovered image to be synthesized from a given deep architecture. While DIP has been shown to be quite an effective unsupervised approach, its results still fall short when compared to state-of-the-art alternatives. In this work, we aim to boost DIP by adding an explicit prior, which enriches the overall regularization effect in order to lead to better-recovered images. More specifically, we propose to bring-in the concept of Regularization by Denoising (RED), which leverages existing denoisers for regularizing inverse problems. Our work shows how the two (DIP and RED) can be merged into a highly effective unsupervised recovery process while avoiding the need to differentiate the chosen denoiser, and leading to very effective results, demonstrated for several tested problems.

研究动机与目标

• 通过以显式正则化先验强化 DIP，激励并改进成像中的无监督逆问题求解。
• 利用 Regularization by Denoising (RED) 来增强 DIP 的隐式正则化。
• 开发一种基于 ADMM 的优化方案，在训练联合的 DIP+RED 目标时避免对去噪器进行微分。
• 证明 DeepRED 在去噪、SISR 和去模糊方面相较于 DIP 和 RED 的性能提升。

提出的方法

• 通过将 DIP 重建损失与 RED 先验相结合来表述 DeepRED 目标：min_{x, Theta} 1/2 ||H T_theta(z) - y||^2_2 + (lambda/2) x^T (x - f(x))，其中 x = T_theta(z)。
• 使用增强型拉格朗日乘子法来处理 x = T_theta(z) 的约束，并导出对 Theta、x 和拉格朗日乘子 u 的交替更新。
• 通过最小化数据一致性项和一个近似项来更新 Theta，使 T_theta(z) 尽量接近 x - u（式 (Eq. 7)）。
• 通过对 T_theta(z) + u 进行基于 RED 的去噪来更新 x，可以使用固定点迭代（式 Eq. 11）或最陡下降步（式 Eq. 12）。
• 使用 ADMM 规则 u <- u - x + T_theta(z) 来更新对偶变量 u。
• 在每个 ADMM 循环中使用 J=1 的 RED 迭代，并可选择将去噪器与 Theta 更新并行运行以加速计算。

实验结果

研究问题

• RQ1 RED 正则化能否提升基于 DIP 的无监督图像恢复框架？
• RQ2 DIP+RED（DeepRED）的组合是否在去噪、单图像超分辨率（SISR）和去模糊方面超过单独的 DIP 与 RED？
• RQ3 是否可行在不对去噪器求导的情况下，使用 ADMM 来优化联合的 DIP+RED 目标？
• RQ4 在 SISR 与去模糊方面，DeepRED 相较于无监督方法及某些有监督方法的表现如何？
• RQ5 通过 ADMM 将 DIP 与 RED 集成时的实际考虑因素（速度、收敛性）有哪些？

主要发现

• DeepRED 在去噪方面相较于 DIP 和 RED 提高了 PSNR（例如在所测试图像上，DIP 平均 30.53 dB 而 DeepRED 为 31.24 dB）。
• 在 SISR 中，DeepRED 始终优于 DIP 和 RED，在若干数据集和尺度上接近或达到有监督方法的水平（例如 Tables 2–4 中显示的 4:1 和 8:1 放大结果）。
• 在图像去模糊方面，DeepRED 在多种模糊类型和图像上优于 DIP、RED 及若干基线（例如表 5 的彩色平均增益和表 6 的灰度平均增益）。
• DeepRED 展现出稳定的数值行为，损失持续下降且 ADMM 约束差距缩小；而 RED 提供的正则化有助于缓解 DIP 的过拟合。