[论文解读] Learning to Deblur using Light Field Generated and Real Defocus Images

Lingyan Ruan, Bin Chen+2 more|arXiv (Cornell University)|Apr 1, 2022

Image Processing Techniques and Applications被引用 5

一句话总结

本文提出了一种两阶段深度学习方法，用于单图像景深模糊去模糊。该方法首先在光场生成的图像对上进行训练，以获得精确的像素级对应关系；随后在真实双张图像采集数据上进行微调，使用特征损失以弥合域差距。通过结合光场合成数据的高精度与真实景深模糊的逼真性，该方法在多个基准测试中实现了最先进性能。

ABSTRACT

Defocus deblurring is a challenging task due to the spatially varying nature of defocus blur. While deep learning approach shows great promise in solving image restoration problems, defocus deblurring demands accurate training data that consists of all-in-focus and defocus image pairs, which is difficult to collect. Naive two-shot capturing cannot achieve pixel-wise correspondence between the defocused and all-in-focus image pairs. Synthetic aperture of light fields is suggested to be a more reliable way to generate accurate image pairs. However, the defocus blur generated from light field data is different from that of the images captured with a traditional digital camera. In this paper, we propose a novel deep defocus deblurring network that leverages the strength and overcomes the shortcoming of light fields. We first train the network on a light field-generated dataset for its highly accurate image correspondence. Then, we fine-tune the network using feature loss on another dataset collected by the two-shot method to alleviate the differences between the defocus blur exists in the two domains. This strategy is proved to be highly effective and able to achieve the state-of-the-art performance both quantitatively and qualitatively on multiple test sets. Extensive ablation studies have been conducted to analyze the effect of each network module to the final performance.

研究动机与目标

• 解决单图像去模糊中空间变化的景深模糊问题，其中具备像素级完美对应关系的精确训练数据稀缺。
• 克服来自光场的合成景深模糊与传统相机拍摄的真实景深模糊之间的域差距。
• 开发一种深度学习框架，充分利用光场生成与真实世界景深图像对的优势。
• 通过结合光场数据提供的高精度对应关系与真实数据的逼真模糊特性，提升去模糊性能。
• 验证新型动态残差模块与多尺度特征学习在细节恢复中的有效性。

提出的方法

• 该方法采用两阶段训练策略：首先在LFDOF数据集上使用平均绝对误差（MAE）损失进行预训练，以利用光场合成孔径提供的精确像素级对应关系。
• 随后，模型在DPDD和RealDOF数据集上使用感知特征损失进行微调，以适应真实世界景深模糊的特性。
• 提出一种新型动态残差块（DRB），集成自适应残差特征、动态卷积核大小与多尺度优化，以应对空间变化的模糊模式。
• DRB采用可学习的卷积核大小，可按层自适应调整，提升对复杂模糊模式的建模灵活性。
• 网络采用自粗到精的多尺度架构，逐步恢复高频细节。
• 在微调阶段应用特征损失，以对齐恢复图像与真实图像的特征表示，从而提升感知质量。

实验结果

研究问题

• RQ1 结合光场生成与真实景深图像对是否能提升单图像去模糊的泛化能力与性能？
• RQ2 光场生成模糊与真实相机模糊之间的域差距如何影响去模糊性能？该差距应如何缓解？
• RQ3 所提出的动态残差块（DRB）中各组件（残差特征、动态核大小、残差优化）对最终去模糊质量的贡献如何？
• RQ4 端到端训练（不显式估计模糊图）是否优于先估计模糊图的两阶段方法？
• RQ5 DRB中的动态卷积核大小如何影响不同数据集上的恢复性能？

主要发现

• 所提方法在RealDOF数据集上达到25.745的PSNR，显著优于先前方法。
• 消融实验证实，动态残差块的所有组件（残差特征、动态核大小、残差优化）对最优性能均不可或缺。
• 采用两阶段策略（光场预训练 + 真实数据微调）的模型泛化能力优于仅在任一数据集上训练的模型。
• 即使未使用显式模糊图估计，该方法在LFDOF测试集上仍比AIFNet高出0.726 dB的PSNR。
• 最优动态核大小在RealDOF上为7，在DPDD上为9；选择7作为默认值，因其在性能与参数效率之间达到最佳平衡。
• 定性结果表明，仅完整DRB配置能恢复精细细节与真实纹理，证实了网络架构组件的重要性。