[论文解读] End-to-end Interpretable Learning of Non-blind Image Deblurring

Thomas Eboli, Jian Sun+1 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Image Processing Techniques参考文献 45被引用 4

一句话总结

该论文提出了一种可学习的、端到端可解释的非盲图像去模糊框架，采用卷积预条件Richardson固定点求解器。通过将模糊和先验核的近似逆滤波器嵌入基于CNN的架构中，该方法在均匀和非均匀去模糊任务中均实现了最先进性能，其速度和精度显著优于FFT和共轭梯度方法，同时对近似模糊核保持鲁棒性。

ABSTRACT

Non-blind image deblurring is typically formulated as a linear least-squares problem regularized by natural priors on the corresponding sharp picture's gradients, which can be solved, for example, using a half-quadratic splitting method with Richardson fixed-point iterations for its least-squares updates and a proximal operator for the auxiliary variable updates. We propose to precondition the Richardson solver using approximate inverse filters of the (known) blur and natural image prior kernels. Using convolutions instead of a generic linear preconditioner allows extremely efficient parameter sharing across the image, and leads to significant gains in accuracy and/or speed compared to classical FFT and conjugate-gradient methods. More importantly, the proposed architecture is easily adapted to learning both the preconditioner and the proximal operator using CNN embeddings. This yields a simple and efficient algorithm for non-blind image deblurring which is fully interpretable, can be learned end to end, and whose accuracy matches or exceeds the state of the art, quite significantly, in the non-uniform case.

研究动机与目标

• 为解决FFT和共轭梯度等经典求解器在非盲图像去模糊中的局限性，特别是在非均匀模糊场景下的不足。
• 开发一种快速且精确的最小二乘求解器，利用卷积结构实现图像中参数的高效共享。
• 通过CNN实现预条件器和近端算子的端到端联合学习，提升泛化能力和性能表现。
• 通过使用物理基础的预条件器而非黑箱神经网络，确保方法的可解释性和鲁棒性。
• 通过预计算离散局部模糊核的近似逆滤波器，将方法扩展至非均匀运动模糊。

提出的方法

• 采用半二次分裂框架，将去模糊问题分解为最小二乘子问题和近端子问题。
• 用基于卷积滤波器作为预条件器的预条件Richardson固定点迭代，替代标准最小二乘求解器。
• 将模糊核和自然图像先验核的近似逆滤波器作为可学习的卷积层嵌入CNN中。
• 将预条件器和近端算子整合到单一可端到端训练的网络中，实现联合优化。
• 预计算一组离散局部模糊核（例如，平移在{1,3,...,35}和方向在{0°,6°,...,174°}）的近似逆滤波器，以实现高效的非均匀去模糊。
• 直接在像素域中运行，避免傅里叶域的局限性，如边界伪影和周期性假设。

实验结果

研究问题

• RQ1 卷积预条件器是否能在求解非盲去模糊的最小二乘子问题中超越FFT和共轭梯度方法？
• RQ2 预条件器和近端算子能否以端到端方式联合学习，同时保持可解释性？
• RQ3 在FFT方法不适用的非均匀运动模糊场景下，该方法表现如何？
• RQ4 当使用训练中未见过的近似或大尺寸模糊核时，该方法是否仍保持鲁棒性？
• RQ5 所提方法是否在均匀和非均匀去模糊设置中均达到最先进性能？

主要发现

• 所提方法LCHQS在1%噪声的非均匀去模糊任务中，相比基于CG的方法PSNR提升1.13 dB，且速度提升200倍。
• 在1%噪声的非均匀去模糊任务中，LCHQS_F达到26.98 ± 0.08 dB的PSNR，优于HQS-CG（25.84 dB）和HQS-FFT（23.49 dB）。
• 该方法对近似模糊核具有鲁棒性：LCHQS_F使用101×101的估计核处理真实世界图像，去模糊结果比FCNN和FDN更清晰，且未引入伪影。
• 在非盲设置下，LCHQS_F在1%噪声下达到26.98 ± 0.08 dB的PSNR，显著优于基于CG和FFT的基线方法。
• 在500×375 RGB图像上，该方法比CG快200倍，比FFT快420倍，推理时间低于1秒。
• 该方法在未见模糊核和噪声水平下泛化能力良好，无需微调即可保持鲁棒性。