[论文解读] A Survey on Image Deblurring

ChuMiao Li|arXiv (Cornell University)|Jan 31, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本综述全面回顾了图像去模糊方法，涵盖基于优化的传统方法与现代深度学习技术。它按输入类型、模糊模型和学习范式系统性地对方法进行分类，并利用标准指标和基准数据集评估性能，为研究人员提供了当前去模糊技术进展与未来方向的结构化指南。

ABSTRACT

With the improvement of social life quality and the real needs of daily work, images are more and more all around us. Image blurring due to camera shake, human movement, etc. has become the key to affecting image quality. How to remove image blur and restore clear image has gradually become an important research direction in the field of computer vision. After more than half a century of unremitting efforts, the majority of scientific and technological workers have made fruitful progress in image deblurring. This article reviews the work of image deblurring and specifically introduces more classic image deblurring methods, which is helpful to understand current research and look forward to future trends. This article reviews the traditional image deblurring methods and depth-represented image deblurring methods, and comprehensively classifies and introduces the corresponding technical methods. This review can provide some guidance for researchers in the field of image deblurring, and at the same time facilitate their subsequent study and research.

研究动机与目标

• 提供传统与基于深度学习的图像去模糊方法的结构化概述。
• 根据输入类型、模糊模型和学习范式对关键去模糊技术进行分类与分析。
• 总结广泛使用的图像去模糊评估基准数据集。
• 回顾并比较客观与主观图像质量评估指标。
• 指导研究人员理解当前趋势，并识别图像去模糊领域的未来研究方向。

提出的方法

• 将图像去模糊方法分类为基于优化与基于深度学习的方法。
• 回顾传统方法，包括用于模糊核与潜在图像恢复的极大后验概率（MAP）和变贝叶斯（VB）估计。
• 分析基于深度学习的方法，如多尺度去模糊网络、基于生成对抗网络（GAN）的去模糊，以及用于端到端图像恢复的无监督神经网络。
• 介绍关键数据集，包括 GoPro、RealBlur、HIDE 和 Levin，用于训练与评估。
• 采用主观方法（例如单刺激连续质量评分）与客观指标（如均方误差 MSE、峰值信噪比 PSNR 和结构相似性 SSIM）对图像质量进行评估。
• 应用数学模型 $ b = Ks + n $ 表示图像模糊过程，并将去模糊建模为约束优化问题。

实验结果

研究问题

• RQ1 基于输入、模糊模型和学习类型，图像去模糊方法的主要类别与子类别是什么？
• RQ2 传统基于优化的方法（如 MAP 和 VB）在性能与抗噪声及不同模糊类型方面的表现如何比较？
• RQ3 基于深度学习的去模糊网络中的关键架构与训练创新有哪些？
• RQ4 哪些基准数据集最能代表去模糊模型的评估，其特征是什么？
• RQ5 客观指标如 PSNR 和 SSIM 在图像去模糊评估中与人类主观感知的相关性如何？

主要发现

• 传统方法如维纳滤波和总变差（TV）在非盲去模糊中表现有效，但在复杂真实世界模糊与噪声下表现不佳。
• MAP 与 VB 方法通过引入自然图像先验知识提升恢复效果，但常导致非凸优化问题，难以全局求解。
• 基于深度学习的方法，尤其是端到端网络，通过从大规模数据中学习复杂模糊核与图像先验，显著优于传统方法。
• 多尺度去模糊网络与基于 GAN 的模型在保留恢复图像的精细细节与纹理方面表现优异。
• 无监督神经网络减少了对成对训练数据的依赖，使低数据场景下的去模糊成为可能。
• PSNR 与 SSIM 仍是标准客观评估指标，但 SSIM 由于考虑结构相似性，与人类感知的相关性优于 PSNR。