[论文解读] Kernel-Free Image Deblurring with a Pair of Blurred/Noisy Images.

Chunzhi Gu, Xuequan Lu+2 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Image Processing Techniques参考文献 57被引用 4

一句话总结

本文提出了一种无需核函数的图像去模糊方法，利用在低光照条件下拍摄的一对模糊图像（低快门速度、低ISO）和噪声图像（高快门速度、高ISO）。通过使用光流对齐的图像块对局部强度分布进行建模，并结合双边项与细节层进行优化，该方法在无需模糊核估计的前提下，在视觉质量与定量指标上均达到了最先进水平。

ABSTRACT

Complex blur like the mixup of space-variant and space-invariant blur, which is hard to be modeled mathematically, widely exists in real images. In the real world, a common type of blur occurs when capturing images in low-light environments. In this paper, we propose a novel image deblurring method that does not need to estimate blur kernels. We utilize a pair of images which can be easily acquired in low-light situations: (1) a blurred image taken with low shutter speed and low ISO noise, and (2) a noisy image captured with high shutter speed and high ISO noise. Specifically, the blurred image is first sliced into patches, and we extend the Gaussian mixture model (GMM) to model the underlying intensity distribution of each patch using the corresponding patches in the noisy image. We compute patch correspondences by analyzing the optical flow between the two images. The Expectation-Maximization (EM) algorithm is utilized to estimate the involved parameters in the GMM. To preserve sharp features, we add an additional bilateral term to the objective function in the M-step. We eventually add a detail layer to the deblurred image for refinement. Extensive experiments on both synthetic and real-world data demonstrate that our method outperforms state-of-the-art techniques, in terms of robustness, visual quality and quantitative metrics. We will make our dataset and source code publicly available.

研究动机与目标

• 解决复杂的真实世界模糊类型，尤其是难以用数学方法建模的时空变与时空不变模糊混合情况。
• 消除现有去模糊方法中模糊核估计的依赖，该依赖是其主要局限。
• 利用低光照摄影中易于获取的图像对：一张模糊图像（低快门速度、低噪声）与一张噪声图像（高快门速度、高噪声）。
• 在具有挑战性的现实场景中提升去模糊的鲁棒性与视觉质量。

提出的方法

• 将模糊图像划分为图像块，利用在噪声图像中对应区域提取的图像块训练扩展高斯混合模型（GMM）对每个图像块的强度分布进行建模。
• 通过模糊图像与噪声图像之间的光流估计建立图像块的对应关系，以对齐空间上对应的区域。
• 在期望-最大化（EM）算法的M步中引入双边项，以保留锐利边缘与精细细节。
• 在最终去模糊图像中添加一个细节层，以优化高频分量并增强纹理保真度。
• 通过依赖图像对中强度分布的统计建模，避免显式学习模糊核。
• 该框架在合成数据集与真实世界数据集上均进行了训练与评估，并公开了代码与数据。

实验结果

研究问题

• RQ1 能否通过利用低光照条件下拍摄的一对模糊与噪声图像，实现无核去模糊方法的优越性能？
• RQ2 基于噪声图像块训练的GMM图像块强度模型，在无需核估计的前提下，能否有效重建去模糊输出的清晰度？
• RQ3 在基于EM的优化中引入双边项，在多大程度上提升了边缘保留与视觉质量？
• RQ4 在鲁棒性与定量指标方面，该方法与当前最先进的基于核与无核去模糊技术相比表现如何？

主要发现

• 所提方法在合成数据集与真实世界数据集上，无论在定量指标还是视觉质量方面，均优于现有最先进去模糊技术。
• 结合光流对齐图像块的GMM建模，可在无需显式核估计的前提下，准确描述复杂模糊分布。
• 在EM算法的M步中引入双边项，显著提升了去模糊输出的边缘保留与清晰度。
• 细节层优化步骤增强了高频纹理与精细结构，从而提升了感知质量。
• 该方法对复杂的真实世界模糊模式（如时空变模糊与混合模糊类型）表现出强鲁棒性。
• 作者通过广泛的消融实验确认了方法的有效性，并公开了数据集与代码。