[论文解读] Fast and Full-Resolution Light Field Deblurring using a Deep Neural Network

Jonathan Samuel Lumentut, Tae Hyun Kim+2 more|arXiv (Cornell University)|Mar 31, 2019

Advanced Image Processing Techniques参考文献 25被引用 8

一句话总结

本文提出一种基于六自由度（6-DOF）相机运动模型的深度神经网络，实现快速、全分辨率的光场去模糊。通过使用真实 Lytro Illum 光场和合成的3D场景渲染，生成大规模具有真实运动模糊的模糊光场数据集，并训练具有大感受野的循环卷积-反卷积神经网络，该方法在全分辨率光场上实现去模糊的速度低于2秒，比之前的工作快16,000倍。

ABSTRACT

Restoring a sharp light field image from its blurry input has become essential due to the increasing popularity of parallax-based image processing. State-of-the-art blind light field deblurring methods suffer from several issues such as slow processing, reduced spatial size, and a limited motion blur model. In this work, we address these challenging problems by generating a complex blurry light field dataset and proposing a learning-based deblurring approach. In particular, we model the full 6-degree of freedom (6-DOF) light field camera motion, which is used to create the blurry dataset using a combination of real light fields captured with a Lytro Illum camera, and synthetic light field renderings of 3D scenes. Furthermore, we propose a light field deblurring network that is built with the capability of large receptive fields. We also introduce a simple strategy of angular sampling to train on the large-scale blurry light field effectively. We evaluate our method through both quantitative and qualitative measurements and demonstrate superior performance compared to the state-of-the-art method with a massive speedup in execution time. Our method is about 16K times faster than Srinivasan et. al. [22] and can deblur a full-resolution light field in less than 2 seconds.

研究动机与目标

• 为解决现有盲光场去模糊方法存在的处理速度慢、分辨率降低以及运动模糊模型过于简化的局限性。
• 开发一种基于学习的方法，能够以高保真度和高速度对全分辨率4D光场进行去模糊。
• 利用六自由度运动模型（3D平移 + 3D旋转）生成真实、大规模的模糊光场数据集用于训练。
• 通过具有大有效感受野的深度神经网络，实现端到端的全空间-角度分辨率去模糊。

提出的方法

• 该方法利用真实 Lytro Illum 光场和在六自由度相机运动（3D平移 + 3D旋转）下的合成3D场景渲染，生成大规模模糊光场数据集。
• 提出的深度神经网络架构结合卷积、反卷积和循环层，实现在不增加网络深度的前提下获得大有效感受野。
• 在训练过程中采用角度采样策略，以高效处理大规模4D光场数据并提升泛化能力。
• 网络端到端训练，直接从模糊输入预测清晰光场输出，同时保持全空间和角度分辨率。
• 引入循环结构，以迭代方式优化特征表示，提升4D光场体积中各区域的去模糊性能。
• 训练过程利用合成数据集中真实清晰光场作为监督信号，在监督学习范式下指导网络学习。

实验结果

研究问题

• RQ1 与基于优化的方法相比，深度神经网络能否在显著降低推理时间的前提下实现全分辨率光场去模糊？
• RQ2 在真实光场去模糊任务中，六自由度运动模糊模型相比三自由度平移模型在去模糊性能上有多大提升？
• RQ3 在PSNR、SSIM和RMSE指标上，端到端的可学习网络在多大程度上优于传统基于优化的去模糊方法？
• RQ4 在不依赖极深网络架构的前提下，循环网络架构能否实现大有效感受野？
• RQ5 所提出方法在训练分布之外的真实世界模糊光场数据上是否具备良好的泛化能力？

主要发现

• 在六自由度测试集上，该方法达到27.57的PSNR和0.855的SSIM，两项定量指标均优于之前最先进方法。
• 在三自由度运动模糊基准测试中，该方法实现27.21的PSNR和0.871的SSIM，表明即使仅在六自由度数据上训练，仍具备强大泛化能力。
• 该方法在GPU上处理全分辨率光场的时间低于1.7秒，相比Srinivasan等人[22]的最先进方法提速16,000倍。
• 定性结果表明，该方法在大运动模糊区域具有更优的边缘和纹理恢复能力，且子孔径图像中的EPI结构保持一致。
• 网络在来自外部真实世界模糊光场数据上的泛化能力良好，包括训练中未见过的数据，视觉对比结果已验证此点。
• 消融研究证实，循环结构和角度采样策略显著提升了性能与训练效率。