[论文解读] Phase-only Image Based Kernel Estimation for Single-image Blind Deblurring

Liyuan Pan, Richard Hartley+2 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Image Processing Techniques参考文献 49被引用 6

一句话总结

本文提出了一种新颖的仅相位图像基单图盲去模糊方法，通过分析仅相位图像的绝对值的自相关性，直接从频域估计模糊核，从而编码运动模式（如方向和大小）。该方法在基准数据集上实现了最先进性能，PSNR、SSIM和SSDD指标均有提升，尤其在细节恢复和振铃伪影减少方面表现优异。

ABSTRACT

The image blurring process is generally modelled as the convolution of a blur kernel with a latent image. Therefore, the estimation of the blur kernel is essentially important for blind image deblurring. Unlike existing approaches which focus on approaching the problem by enforcing various priors on the blur kernel and the latent image, we are aiming at obtaining a high quality blur kernel directly by studying the problem in the frequency domain. We show that the auto-correlation of the absolute phase-only image can provide faithful information about the motion (e.g. the motion direction and magnitude, we call it the motion pattern in this paper.) that caused the blur, leading to a new and efficient blur kernel estimation approach. The blur kernel is then refined and the sharp image is estimated by solving an optimization problem by enforcing a regularization on the blur kernel and the latent image. We further extend our approach to handle non-uniform blur, which involves spatially varying blur kernels. Our approach is evaluated extensively on synthetic and real data and shows good results compared to the state-of-the-art deblurring approaches.

研究动机与目标

• 通过直接从频域估计模糊核，解决单图盲去模糊问题的病态性。
• 通过利用仅相位图像特性提取运动模式，克服现有方法严重依赖先验的局限性。
• 开发一种高效且鲁棒的核估计流程，适用于均匀与非均匀模糊，兼具简洁性与有效性。
• 通过在模糊核与图像梯度上联合应用基于相位的核估计与空间稀疏性正则化，提升去模糊质量。
• 通过将基于相位的运动模式估计适配至空间可变核，实现对非均匀模糊的扩展。

提出的方法

• 从模糊输入的傅里叶变换中重建仅相位图像，仅保留相位信息以保持结构边缘。
• 计算绝对仅相位图像的自相关性，以提取包括模糊方向与大小在内的运动模式。
• 将所得运动模式用作模糊核的初始估计，并通过引入稀疏性先验的优化过程进行细化。
• 建立联合优化问题，对模糊核与潜在图像梯度同时施加空间稀疏性，以增强重建质量。
• 通过局部仅相位图像分析与运动模式估计，建模空间可变核，将方法扩展至非均匀模糊。
• 在 MATLAB 中实现框架，并使用 C++ 封装，采用粗到细策略，实现对 $800 \times 800$ 图像的高效去模糊。

实验结果

研究问题

• RQ1 绝对仅相位图像的自相关性能否可靠揭示与模糊核相对应的运动模式（方向与大小）？
• RQ2 与传统先验相比，仅相位图像分析在估计高质量初始模糊核方面有多有效？
• RQ3 所提出的基于相位的核估计能否通过稀疏性正则化有效优化，从而实现更优的去模糊结果？
• RQ4 该方法在具有空间可变核的非均匀模糊场景中，其泛化能力如何？
• RQ5 在真实与合成数据上，该方法与最先进盲去模糊方法在定量与定性层面相比表现如何？

主要发现

• 在 [17] 数据集上，所提方法实现了 28.38 dB 的 PSNR、0.9250 的 SSIM 和 0.8776 的 SSD，优于所有对比方法，包括 [19]、[23]、[43] 和 [34]。
• 在 [13] 数据集上，该方法实现了 30.18 dB 的 PSNR 和 0.933 的 SSIM，为所有基线方法中的最高值，包括深度学习模型 [16] 和 [19]。
• 图 1、4、5、6 和 8 的定性结果表明，与 [23]、[43] 和 [19] 相比，所提方法能更有效地恢复清晰细节并减少振铃伪影。
• 在单个 i7 核上，每张 $800 \times 800$ 图像的处理时间仅为 40 秒，展现出良好的实际效率。
• 消融实验确认仅相位图像分析至关重要，若移除该模块，性能显著下降（PSNR 降至 25.74 dB）。
• 该方法成功扩展至非均匀模糊，在复杂空间可变模糊场景中保持了高质量的核估计与图像复原。