[论文解读] Deep Richardson-Lucy Deconvolution for Low-Light Image Deblurring

Liang Chen, Jiawei Zhang+5 more|arXiv (Cornell University)|Aug 10, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出了一种数据驱动的深度学习方法，用于低光照图像去模糊，通过学习的潜在映射来建模过曝像素，将先验估计网络（PEN）与基于Richardson-Lucy（RL）的优化方案相结合。该方法在合成数据集和真实世界数据集上均优于当前最先进方法，有效处理模糊和过曝问题，且无需依赖手工设计的截断近似。

ABSTRACT

Images taken under the low-light condition often contain blur and saturated pixels at the same time. Deblurring images with saturated pixels is quite challenging. Because of the limited dynamic range, the saturated pixels are usually clipped in the imaging process and thus cannot be modeled by the linear blur model. Previous methods use manually designed smooth functions to approximate the clipping procedure. Their deblurring processes often require empirically defined parameters, which may not be the optimal choices for different images. In this paper, we develop a data-driven approach to model the saturated pixels by a learned latent map. Based on the new model, the non-blind deblurring task can be formulated into a maximum a posterior (MAP) problem, which can be effectively solved by iteratively computing the latent map and the latent image. Specifically, the latent map is computed by learning from a map estimation network (MEN), and the latent image estimation process is implemented by a Richardson-Lucy (RL)-based updating scheme. To estimate high-quality deblurred images without amplified artifacts, we develop a prior estimation network (PEN) to obtain prior information, which is further integrated into the RL scheme. Experimental results demonstrate that the proposed method performs favorably against state-of-the-art algorithms both quantitatively and qualitatively on synthetic and real-world images.

研究动机与目标

• 为解决同时包含模糊和过曝像素的低光照图像去模糊挑战。
• 克服先前方法依赖手工设计平滑函数来近似像素截断的局限性。
• 通过学习饱和像素的数据驱动表示，消除去模糊过程中对经验调参的依赖。
• 通过学习的先验估计网络（PEN）整合先验信息，提升去模糊质量。
• 将非盲去模糊任务建模为可通过迭代潜在映射与图像更新求解的最大后验概率（MAP）问题。

提出的方法

• 训练一个映射估计网络（MEN）以预测表示过曝像素的潜在映射，替代传统的手工设计截断模型。
• 使用基于Richardson-Lucy（RL）的方案迭代更新潜在图像，该方法适用于泊松噪声和模糊建模。
• 先验估计网络（PEN）学习空间先验，以引导去模糊过程并抑制伪影。
• 该方法将非盲去模糊建模为MAP问题，联合优化潜在图像与学习的潜在映射。
• 迭代优化过程交替进行：通过RL更新潜在图像，通过MEN优化潜在映射，PEN提供的先验信息提升稳定性和质量。
• 该框架在合成低光照去模糊数据上端到端训练，实现向真实世界图像的泛化能力。

实验结果

研究问题

• RQ1 学习的潜在映射是否能在不依赖手工设计截断函数的情况下，有效建模低光照图像中的过曝像素？
• RQ2 通过PEN集成学习的先验信息在多大程度上提升了去模糊性能并减少了伪影？
• RQ3 所提出的基于数据驱动的RL框架是否能在合成与真实世界低光照去模糊基准上超越现有方法？
• RQ4 结合迭代潜在映射与图像更新的MAP建模是否相比先前优化策略更具鲁棒性和准确性？
• RQ5 该方法在具有复杂模糊与过曝模式的真实世界低光照图像上泛化程度如何？

主要发现

• 所提方法在合成与真实世界低光照图像去模糊基准上均达到最先进性能，PSNR与SSIM指标表现优异。
• 与基线方法相比，该方法显著减少了伪影与噪声放大，尤其在高过曝区域表现更优。
• 先验估计网络（PEN）的集成带来了更自然的去模糊结果，并提升了结构保持能力。
• 该模型在真实世界图像上泛化良好，对复杂模糊核和多变光照条件表现出强鲁棒性。
• 消融实验确认，学习的潜在映射与PEN组件对最优性能均不可或缺。
• 在定量指标与定性视觉评估中，该方法均优于现有非盲去模糊方法。