[论文解读] Blind Image Deblurring: a Review

Zhengrong Xue|arXiv (Cornell University)|Jan 22, 2022

Advanced Image Processing Techniques被引用 4

一句话总结

本文全面综述了盲图像去模糊问题，涵盖问题建模、人眼视觉系统机理、基于优化与基于学习的方法，以及理论基础。文章强调了病态性与噪声放大等关键挑战，回顾了评价指标与数据集，并讨论了当前最先进的方法，包括暗通道先验及无需估计核的深度学习模型（如CNN与GAN）在去模糊中的应用。

ABSTRACT

This is a review on blind image deblurring. First, we formulate the blind image deblurring problem and explain why it is challenging. Next, we bring some psychological and cognitive studies on the way our human vision system deblurs. Then, relying on several previous reviews, we discuss the topic of metrics and datasets, which is non-trivial to blind deblurring. Finally, we introduce some typical optimization-based methods and learning-based methods.

研究动机与目标

• 系统分析盲图像去模糊问题，强调其病态性，以及由未知模糊核与噪声引起的挑战。
• 探讨人眼视觉系统去模糊背后的心理与认知机制，为计算方法提供生物学启发。
• 回顾并分类现有基于优化与基于学习的去模糊技术，包括核估计与直接图像恢复方法。
• 评估当前用于盲去模糊研究的评价指标与数据集的优缺点。
• 总结Levin等人[32]的理论洞见，特别是关于模糊核的基本约束与可辨识性。

提出的方法

• 将盲去模糊问题建模为卷积退化模型：$ y = k \otimes x + n $，其中 $ k $ 为未知模糊核，$ x $ 为潜在的清晰图像，$ n $ 为噪声。
• 回顾基于优化的方法，其依赖于稀疏性、自然图像统计特性及暗通道先验等先验知识，以约束解空间。
• 考察基于学习的方法，利用CNN估计模糊核（如基于块的分类、密集运动场）或直接预测清晰图像而无需核估计。
• 讨论先进网络结构，如尺度递归网络、基于GAN的训练以保持边缘细节，以及融合CNN与RNN的混合模型以捕捉长距离空间依赖性。
• 引入极端通道先验（对称亮通道与暗通道），作为近期用于区分清晰与模糊图像的先验。
• 回顾主观人类评价与自动化指标在对比分析中的应用，指出目前尚无广泛接受的基准。

实验结果

研究问题

• RQ1 为何盲图像去模糊被认为是一个严重病态的问题？卷积模型中会产生哪些根本性模糊性？
• RQ2 哪些心理与认知机制可能解释人眼视觉系统在存在运动模糊的情况下仍能感知运动物体为清晰图像？
• RQ3 基于优化的方法如何利用稀疏性与暗通道等图像先验，从模糊观测中恢复清晰图像？
• RQ4 与传统优化技术相比，基于深度学习的方法在非均匀模糊场景下在多大程度上提升了去模糊性能？
• RQ5 当前评价指标与数据集在客观衡量去模糊性能方面存在哪些局限性？

主要发现

• 反卷积方法因在高频处严重放大噪声而失效，尤其当模糊核较大时，如图1所示。
• 该问题为病态问题，因为存在无穷多对 $ (x, k) $ 可产生相同的模糊图像 $ y $，包括平凡解（如 $ k $ 为狄拉克函数）。
• Xu与Jia [54] 在均匀模糊去模糊中表现优异，而Pan等人[39] 在真实场景与非均匀模糊设置中优于其他方法。
• 暗通道先验能有效区分模糊与清晰图像，因为模糊图像在局部区域中任一颜色通道的低强度像素更少。
• 基于学习的方法（如Nah等人[38]与Kupyn等人[27]）通过直接恢复清晰图像而无需显式核估计，实现了最先进性能，显著提升了边缘保真度。
• Yan等人[56] 提出极端通道先验，结合暗通道与对称亮通道先验，在基于优化的去模糊中展现出有前景的定性结果。