[论文解读] Learning a Convolutional Neural Network for Non-uniform Motion Blur Removal

Jian Sun, Wenfei Cao+2 more|arXiv (Cornell University)|Mar 2, 2015

Advanced Image Processing Techniques参考文献 31被引用 96

一句话总结

本文提出了一种深度学习框架，利用卷积神经网络（CNN）在图像块级别估计空间变化的运动模糊核，通过图像旋转增强核扩展来提升预测性能，并采用马尔可夫随机场（MRF）模型强制实现运动平滑性。该方法在非均匀运动模糊去除任务中达到最先进性能，平均 MSE_motion 为 7.83，PSNR_motion 为 44.55，显著优于先前基于学习的方法和手工特征方法，在复杂、强非均匀模糊情况下表现突出。

ABSTRACT

In this paper, we address the problem of estimating and removing non-uniform motion blur from a single blurry image. We propose a deep learning approach to predicting the probabilistic distribution of motion blur at the patch level using a convolutional neural network (CNN). We further extend the candidate set of motion kernels predicted by the CNN using carefully designed image rotations. A Markov random field model is then used to infer a dense non-uniform motion blur field enforcing motion smoothness. Finally, motion blur is removed by a non-uniform deblurring model using patch-level image prior. Experimental evaluations show that our approach can effectively estimate and remove complex non-uniform motion blur that is not handled well by previous approaches.

研究动机与目标

• 为解决在单张模糊图像中估计和去除复杂、强非均匀运动模糊的挑战，该挑战对现有方法而言仍具难度。
• 在传统方法依赖手工特征或频谱分析失效的空间变化模糊场景中，提升运动核估计的准确性。
• 开发一种基于深度学习的方法，直接从局部图像块预测运动模糊核，无需显式相机运动建模或潜在清晰图像估计。
• 通过图像旋转技术扩展候选运动核集合，提升核估计的鲁棒性。
• 利用马尔可夫随机场（MRF）模型强制实现估计模糊场的空间一致性，促进运动向量在相邻区域间的平滑过渡。

提出的方法

• 训练一个卷积神经网络（CNN），以局部图像特征为输入，预测图像块级别的运动核概率分布。
• 通过图像旋转技术扩展预测的运动核集合，以增加候选核的多样性与鲁棒性，提升对复杂模糊模式的泛化能力。
• 采用马尔可夫随机场（MRF）模型将图像块级预测融合为密集、空间一致的运动模糊场，强制实现相邻区域间运动向量过渡的平滑性。
• 将估计的非均匀运动模糊场作为输入，送入基于图像块的去模糊模型，利用局部图像先验信息恢复清晰图像。
• MRF公式同时包含单变量项（CNN预测）与成对项（平滑性约束），用于优化密集运动场。
• 最终去模糊步骤采用非均匀反卷积，利用估计的运动核场进行优化，优化过程受图像块级统计特征引导。

实验结果

研究问题

• RQ1 深度CNN能否在强非均匀模糊的复杂场景中，有效从局部图像块估计空间变化的运动模糊核？
• RQ2 通过图像旋转扩展候选运动核集合，如何提升运动核估计的准确性？
• RQ3 通过MRF模型强制实现运动平滑性，在多大程度上提升了估计的非均匀模糊场的质量？
• RQ4 在真实与合成的非均匀模糊图像上，所提出的基于CNN的方法在运动核估计与最终去模糊性能方面，与最先进方法相比表现如何？
• RQ5 该方法能否处理传统假设（如全局相机运动或简单物体运动）难以建模的复杂模糊模式？

主要发现

• 所提方法在运动核估计任务中平均 MSE_motion 为 7.83，PSNR_motion 为 44.55，显著优于基线方法如 BlurSpect 和 SLayerRegr。
• 基于MRF的融合方法结合运动平滑性约束，相比仅使用CNN的基线（DL_noMRF），显著提升了核估计准确性，证明了空间一致性的关键作用。
• 通过图像旋转扩展运动核集合显著提升性能，尤其在处理多样化的运动方向与长度方面表现突出。
• 完整方法（DL_MRF）在视觉效果上优于均匀与非均匀去模糊基线方法，表现出更少的过度锐化与更自然的纹理。
• 在定性对比中，该方法在识别复杂运动模式方面优于 [13]，尽管后者以强大性能著称但缺乏公开代码。
• 定量评估在基准数据集上的结果证实，该方法在运动核估计（MSE_ker）与最终去模糊（PSNR_deblur）两方面均达到最先进水平。