[论文解读] Learning Deep Gradient Descent Optimization for Image Deconvolution

Dong Gong, Zhen Zhang+4 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Image Processing Techniques参考文献 56被引用 8

一句话总结

本文提出了一种循环梯度下降网络（RGDN），通过将深度神经网络嵌入完全可微的梯度下降框架中，学习一种通用的、无需参数调整的图像反卷积优化器。与以往需要固定架构或已知噪声水平的学习方法不同，RGDN通过递归监督动态学习图像先验和自适应更新规则，在合成图像和真实世界图像上均实现了最先进性能，且对不同模糊程度和噪声水平具有鲁棒性。

ABSTRACT

As an integral component of blind image deblurring, non-blind deconvolution removes image blur with a given blur kernel, which is essential but difficult due to the ill-posed nature of the inverse problem. The predominant approach is based on optimization subject to regularization functions that are either manually designed, or learned from examples. Existing learning based methods have shown superior restoration quality but are not practical enough due to their restricted and static model design. They solely focus on learning a prior and require to know the noise level for deconvolution. We address the gap between the optimization-based and learning-based approaches by learning a universal gradient descent optimizer. We propose a Recurrent Gradient Descent Network (RGDN) by systematically incorporating deep neural networks into a fully parameterized gradient descent scheme. A hyper-parameter-free update unit shared across steps is used to generate updates from the current estimates, based on a convolutional neural network. By training on diverse examples, the Recurrent Gradient Descent Network learns an implicit image prior and a universal update rule through recursive supervision. The learned optimizer can be repeatedly used to improve the quality of diverse degenerated observations. The proposed method possesses strong interpretability and high generalization. Extensive experiments on synthetic benchmarks and challenging real-world images demonstrate that the proposed deep optimization method is effective and robust to produce favorable results as well as practical for real-world image deblurring applications.

研究动机与目标

• 解决现有基于学习的反卷积方法需要固定架构或已知噪声水平的局限性。
• 弥合图像反卷积中基于优化方法与基于学习方法之间的差距。
• 开发一种通用的循环深度网络，通过端到端训练学习图像恢复的动态更新规则。
• 实现在无需微调或超参数调整的情况下，对多样化模糊核和噪声水平的鲁棒、可泛化的去模糊效果。

提出的方法

• RGDN架构构建为一个循环神经网络，通过共享的、可学习的梯度下降单元迭代更新图像估计。
• 梯度下降单元由一个卷积神经网络（CNN）参数化，该网络基于当前图像估计和数据保真项计算更新。
• 该方法将图像反卷积表述为正则化优化问题，并将其展开为循环结构，其中CNN隐式学习近端算子。
• 网络通过在多样化模糊图像上的递归监督进行训练，使其能够学习通用的图像先验和自适应的更新动力学。
• 该优化器为超参数自由，且在推理过程中无需知晓噪声水平。
• 通过将模糊核替换为单位矩阵，该框架被扩展至图像去噪任务，证明其在其他恢复任务中的可迁移性。

实验结果

研究问题

• RQ1 深度神经网络能否学习一种通用的梯度下降优化器，使其在图像反卷积中泛化至多样化的模糊和噪声条件？
• RQ2 与静态、手工设计的优化网络相比，循环的、端到端训练的优化器在鲁棒性和性能方面表现如何？
• RQ3 单一学习到的优化器在无需微调或超参数调整的情况下，能在多大程度上处理变化的模糊核和噪声水平？
• RQ4 所提出的方法能否在不修改网络架构的情况下扩展至其他图像恢复任务（如去噪）？
• RQ5 RGDN隐式学习到的先验在恢复质量与泛化能力方面是否优于显式设计或学习到的先验？

主要发现

• RGDN在合成基准（Levin等人）和真实世界图像（Sun等人）上均实现了最先进性能，优于先前基于学习的方法和经典优化方法。
• 在Levin数据集上，RGDN在图像去噪任务中对噪声水平σ = 25、35和50分别达到PSNR 30.94、29.29和27.66，优于CBM3D和TNRD，并与IRCNN性能相当，尽管其为无噪声感知模型。
• 该方法在未见过的模糊核和噪声水平上泛化良好，推理过程中无需微调或超参数调整。
• 在去卷积任务中，RGDN对小图像完成30次迭代耗时不足1秒，对大图像耗时不足6秒，尽管推理速度略慢于FDN，但在鲁棒性方面表现更优。
• 该模型展现出强大的可解释性与泛化能力，所学习的优化器无需显式正则化设计即可有效捕捉复杂图像先验。
• 扩展至图像去噪任务验证了方法的通用性，在无需输入噪声水平信息的情况下，于多个噪声水平下均取得了具有竞争力的结果。