[论文解读] Non-uniform Blur Kernel Estimation via Adaptive Basis Decomposition

Guillermo Carbajal, Patricia Vitoria+3 more|arXiv (Cornell University)|Feb 1, 2021

Advanced Image Processing Techniques参考文献 38被引用 10

一句话总结

本文提出了一种非参数化、自适应基分解方法，用于从单张模糊图像中估计密集的、空间可变的运动模糊核。卷积神经网络预测图像特定的基模糊核及每像素的混合系数，从而实现精确的模糊场重建；当与变分去模糊方法结合时，该方法在真实模糊图像上实现了最先进性能，在泛化能力和处理饱和区域方面优于端到端深度学习方法。

ABSTRACT

Motion blur estimation remains an important task for scene analysis and image restoration. In recent years, the removal of motion blur in photographs has seen impressive progress in the hands of deep learning-based methods, trained to map directly from blurry to sharp images. Characterization of the motion blur, on the other hand, has received less attention, and progress in model-based methods for deblurring lags behind that of data-driven end-to-end approaches. In this work we revisit the problem of characterizing dense, non-uniform motion blur in a single image and propose a general non-parametric model for this task. Given a blurry image, a neural network is trained to estimate a set of image-adaptive basis motion kernels as well as the mixing coefficients at the pixel level, producing a per-pixel motion blur field. We show that our approach overcomes the limitations of existing non-uniform motion blur estimation methods and leads to extremely accurate motion blur kernels. When applied to real motion-blurred images, a variational non-uniform blur removal method fed with the estimated blur kernels produces high-quality restored images. Qualitative and quantitative evaluation shows that these results are competitive or superior to results obtained with existing end-to-end deep learning (DL) based methods, thus bridging the gap between model-based and data-driven approaches.

研究动机与目标

• 解决基于参数化模型的方法在估计非均匀运动模糊核时的局限性。
• 通过实现精确的非参数化模糊核估计，弥合基于模型与数据驱动去模糊方法之间的差距。
• 提升对真实世界模糊图像的泛化能力，尤其是在低光照条件下存在饱和区域的情况。
• 利用学习到的基函数，为空间可变的模糊场提供紧凑且图像自适应的表示。
• 证明基于模型的去模糊方法在使用估计的模糊核时，可在真实数据上超越端到端深度学习方法。

提出的方法

• 训练一个CNN，为每张输入的模糊图像预测一组图像自适应的基运动模糊核及其对应的每像素混合系数。
• 通过使用学习到的混合系数，将每个像素的模糊核计算为基模糊核的加权和。
• 该方法采用低秩表示，以高效建模密集的、空间可变的模糊场。
• 网络显式建模饱和区域，以提升在低光照条件下的鲁棒性。
• 将估计的模糊核作为输入，用于经典非盲变分去模糊算法（如Richardson-Lucy）以实现图像恢复。
• 该框架在自建的合成数据集上进行训练，并在真实世界基准数据集（包括RealBlur和Lai）上进行评估。

实验结果

研究问题

• RQ1 非参数化、自适应基分解方法是否能比现有基于模型的方法实现更准确且更具泛化能力的非均匀模糊核估计？
• RQ2 此类学习到的模糊核表示是否能在真实、非合成的模糊图像上去模糊任务中超越端到端深度学习方法？
• RQ3 该方法在低光照摄影中存在饱和区域等复杂情况下的表现如何？
• RQ4 估计的模糊核场在多大程度上提升了经典变分去模糊算法的性能？
• RQ5 将估计的模糊核集成到预训练的基于GAN的去模糊模型中，是否能提升性能并减少幻觉现象？

主要发现

• 在RealBlur-R基准上，该方法实现了36.17 dB的PSNR和0.946的SSIM，优于所有对比的端到端深度学习方法。
• 在RealBlur-J基准上，该方法实现了28.95 dB的PSNR和0.865的SSIM，甚至超越了MPRNet和DMPHN等最先进方法。
• 该方法在真实模糊图像上显著优于端到端深度学习模型，PSNR最高提升达3.17 dB，表明其具有更优的泛化能力。
• 在定性对比中，该方法成功恢复了大多数竞争方法失效的饱和区域中的细节。
• 将估计的模糊核用于微调DeblurGAN，实现了28.08 dB的PSNR，略优于需要视频输入的Reblur2Deblur方法。
• 估计的模糊核具有高度准确性，即使在非盲且基于变分的去模糊算法中，也能实现高质量的去模糊效果。