[论文解读] Blind Deblurring using Deep Learning: A Survey

Siddhant Sahu, Manoj Kumar Lenka+1 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Image Processing Techniques参考文献 18被引用 15

一句话总结

本综述对基于深度学习的盲去模糊方法进行了全面分析，将其分为核估计与端到端架构两类。结果表明，端到端模型通过直接预测清晰图像而无需显式估计模糊核，显著减少了伪影并提升了性能，尤其在GOPRO数据集上实现了30.1的PSNR和0.932的SSIM，表现更优。

ABSTRACT

We inspect all the deep learning based solutions and provide holistic understanding of various architectures that have evolved over the past few years to solve blind deblurring. The introductory work used deep learning to estimate some features of the blur kernel and then moved onto predicting the blur kernel entirely, which converts the problem into non-blind deblurring. The recent state of the art techniques are end to end, i.e., they don't estimate the blur kernel rather try to estimate the latent sharp image directly from the blurred image. The benchmarking PSNR and SSIM values on standard datasets of GOPRO and Kohler using various architectures are also provided.

研究动机与目标

• 提供近年来用于盲去模糊的深度学习架构的全面理解。
• 从PSNR、SSIM和推理速度的角度，比较基于核估计的方法与端到端学习方法的性能。
• 分析去模糊网络中感受野扩展与参数效率等架构趋势。
• 使用定量指标在标准数据集（GOPRO和Köhler）上对最先进模型进行基准测试。
• 通过指出核估计的局限性与直接图像恢复的优势，为未来研究提供指导。

提出的方法

• 将基于深度学习的盲去模糊方法主要分为两类：(1) 通过CNN进行模糊核估计；(2) 不显式预测核的端到端图像恢复。
• 分析多阶段架构（如Schuler等）的结构，其包含特征提取、核估计与潜在图像恢复模块，并在各阶段间使用残差连接。
• 描述利用傅里叶域优化高效求解核估计与去模糊方程的方法，使用公式：$\sum_{i}\lVert K*x_{i}-y_{i}\rVert^{2} + \beta_{k}\lVert K\rVert^{2}$ 和 $\lVert K*L-B\rVert^{2} + \beta_{x}\lVert L\rVert^{2}$。
• 回顾基于GAN的方法（如Kupyn等）中对抗训练的应用，使用WGAN损失以最小化真实图像与生成清晰图像之间的分布差异。
• 采用感知损失与L1损失以增强生成图像的结构与像素级保真度。
• 使用PSNR与SSIM作为主要评估指标，其中PSNR计算公式为 $PSNR = \frac{m^2}{MSE}$，SSIM基于局部均值、方差与协方差计算。

实验结果

研究问题

• RQ1 在标准基准上，端到端深度学习模型与基于核估计的模型在PSNR与SSIM方面表现如何？
• RQ2 哪些架构组件（如感受野、跳跃连接）在盲去模糊中对性能贡献最大？
• RQ3 为何端到端模型相比核估计流程能更有效地减少伪影？
• RQ4 尽管性能相近，不同网络架构的推理速度如何变化？
• RQ5 感知损失与对抗损失在PSNR/SSIM之外，能在多大程度上提升图像视觉质量？

主要发现

• 端到端模型在GOPRO数据集上实现了最高的PSNR（30.1）与SSIM（0.932），优于基于核估计的方法。
• 在Köhler数据集上，表现最佳的模型（Ramakrishnan等）达到27.08的PSNR与0.751的SSIM，表明其在模拟相机抖动场景下具有优异性能。
• Kupyn等人的模型在GOPRO数据集上实现了28.7的PSNR与0.958的SSIM，尽管PSNR略低于Tao等人的方法，但其图像感知质量更高。
• Nah等人的方法在GOPRO数据集上达到29.2的PSNR与0.916的SSIM，但推理时间最慢（4.3秒），凸显了模型规模与速度之间的权衡。
• Tao等人的方法在GOPRO数据集上实现了30.1的PSNR，推理时间仅1.6秒，展现出性能与效率的优异平衡。
• 本研究证实，降低核估计误差可显著提升重建质量，验证了端到端学习的优越性。