[论文解读] Simultaneous Fidelity and Regularization Learning for Image Restoration

Dongwei Ren, Wangmeng Zuo+3 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Image Processing Techniques参考文献 64被引用 8

一句话总结

本文提出了一种任务驱动的学习框架 SFARL，可在部分已知或不准确的退化模型下，同时学习保真度项与正则化项以实现图像恢复。通过参数化模型不准确带来的残差，并利用分阶段网络联合优化保真度与正则化项，SFARL 在使用不准确核的反卷积、雨痕去除和去噪任务中均取得了最先进性能，显著减少了伪影，提升了视觉质量与定量指标。

ABSTRACT

Most existing non-blind restoration methods are based on the assumption that a precise degradation model is known. As the degradation process can only be partially known or inaccurately modeled, images may not be well restored. Rain streak removal and image deconvolution with inaccurate blur kernels are two representative examples of such tasks. For rain streak removal, although an input image can be decomposed into a scene layer and a rain streak layer, there exists no explicit formulation for modeling rain streaks and the composition with scene layer. For blind deconvolution, as estimation error of blur kernel is usually introduced, the subsequent non-blind deconvolution process does not restore the latent image well. In this paper, we propose a principled algorithm within the maximum a posterior framework to tackle image restoration with a partially known or inaccurate degradation model. Specifically, the residual caused by a partially known or inaccurate degradation model is spatially dependent and complexly distributed. With a training set of degraded and ground-truth image pairs, we parameterize and learn the fidelity term for a degradation model in a task-driven manner. Furthermore, the regularization term can also be learned along with the fidelity term, thereby forming a simultaneous fidelity and regularization learning model. Extensive experimental results demonstrate the effectiveness of the proposed model for image deconvolution with inaccurate blur kernels, deconvolution with multiple degradations and rain streak removal.

研究动机与目标

• 解决退化模型仅部分已知或建模不准确时的图像恢复挑战，例如在盲反卷积或雨痕去除任务中。
• 克服传统基于 MAP 的方法所面临的局限，后者假设对退化算子和噪声模型有精确知识。
• 开发一种灵活的、数据驱动的框架，通过退化图像与真实图像对，在任务特定的方式下同时学习保真度与正则化项。
• 通过建模由于模型不准确导致的空间可变且复杂的残差，提升恢复性能。
• 通过统一优化框架中可学习的自适应组件，实现跨不同恢复任务的泛化能力。

提出的方法

• 提出一种最大后验概率（MAP）框架，其中保真度项被参数化为一种空间自适应、任务特定的残差函数，以建模未知或不准确的退化影响。
• 使用分阶段、端到端可训练的网络学习保真度项，该网络建模观测图像与已知退化模型输出之间的残差。
• 通过任务特定的、参数化的先验，同时学习正则化项，以从训练数据中捕捉图像统计特性和结构先验。
• 使用退化图像与真实图像对，以任务驱动方式训练模型，通过反向传播联合优化保真度与正则化组件。
• 采用多阶段架构，逐步优化恢复过程，每一阶段根据残差误差更新保真度与正则化滤波器。
• 引入保真度项的灵活参数化方式，以捕捉复杂且空间可变的退化残差，从而更好地建模真实世界中的缺陷。

实验结果

研究问题

• RQ1 基于学习的方法能否有效建模图像恢复中因退化模型不准确或部分已知而产生的残差？
• RQ2 如何以一种能超越固定或手工设计先验的方式，联合学习保真度与正则化项，以提升恢复性能？
• RQ3 所学习的保真度与正则化组件在多大程度上能泛化到不同图像恢复任务（如去模糊、去噪与去雨）？
• RQ4 所提出的联合学习框架是否在退化模型不准确的任务中，于定量指标与视觉质量方面均优于现有方法？
• RQ5 当将所学习的保真度与正则化滤波器迁移到不同恢复任务时，其行为表现如何？

主要发现

• 在 Rain12 去雨数据集上，SFARL 实现了 35.97 的 PSNR 与 0.9581 的 SSIM，显著优于基线方法如 DDNET 与 DCNN。
• 在使用不准确模糊核的反卷积任务中，SFARL 减少了振铃伪影，并在视觉质量上优于 ROBUST 与 DCNN。
• 正则化滤波器在任务间表现出中等程度的可迁移性——尤其在相似退化类型（如去噪与去雨）之间，但当应用于差异较大的任务时性能下降。
• 保真度滤波器具有高度任务特异性，当从一种退化类型（如反卷积）迁移到另一类（如去雨）时会失效，原因在于其与核估计误差存在强相关性。
• 在高斯去噪任务中，SFARL 改进了视觉感知指标，并生成比标准方法更干净的结果，证明其在去模糊与去雨之外任务中的有效性。
• 消融实验表明，联合学习保真度与正则化项的性能优于独立学习，验证了联合学习框架的必要性。