[论文解读] Image and Depth from a Single Defocused Image Using Coded Aperture Photography

Mina Masoudifar, Hamid Reza Pourreza|arXiv (Cornell University)|Mar 13, 2016

Image Processing Techniques and Applications参考文献 30被引用 3

一句话总结

本文提出一种单一非对称编码孔径图案，可从一张模糊图像中同时实现深度估计与图像去模糊。通过优化考虑光照和系统约束的多目标函数，该方法利用图像质量评估来区分焦前/焦后模糊，相较于以往的编码孔径设计，在仿真和真实世界实验中均实现了更高的深度精度与更清晰的重建效果。

ABSTRACT

Depth from defocus and defocus deblurring from a single image are two challenging problems that are derived from the finite depth of field in conventional cameras. Coded aperture imaging is one of the techniques that is used for improving the results of these two problems. Up to now, different methods have been proposed for improving the results of either defocus deblurring or depth estimation. In this paper, a multi-objective function is proposed for evaluating and designing aperture patterns with the aim of improving the results of both depth from defocus and defocus deblurring. Pattern evaluation is performed by considering the scene illumination condition and camera system specification. Based on the proposed criteria, a single asymmetric pattern is designed that is used for restoring a sharp image and a depth map from a single input. Since the designed pattern is asymmetric, defocus objects on the two sides of the focal plane can be distinguished. Depth estimation is performed by using a new algorithm, which is based on image quality assessment criteria and can distinguish between blurred objects lying in front or behind the focal plane. Extensive simulations as well as experiments on a variety of real scenes are conducted to compare our aperture with previously proposed ones.

研究动机与目标

• 为解决传统相机景深有限的局限性，实现从单张模糊图像中同时进行深度估计与图像去模糊。
• 设计一种优化的编码孔径图案，以提升基于模糊的深度估计与模糊去模糊性能。
• 通过引入非对称设计，突破以往孔径图案的对称性限制，实现对焦面前后模糊的区分。
• 开发一种基于图像质量评估标准的深度估计算法，以区分焦平面前后物体的模糊特征。
• 通过仿真与真实实验，在多种场景光照与相机系统条件下评估所提方法的性能。

提出的方法

• 构建多目标函数以评估与设计孔径图案，平衡深度估计精度与图像去模糊质量。
• 在考虑场景光照与相机系统参数的条件下优化孔径图案，以在真实条件下最大化性能。
• 设计非对称编码孔径，使焦面前后物体产生不同的点扩散函数（PSFs）。
• 提出一种新颖的深度估计算法，利用图像质量度量分析模糊特征，确定相对于焦平面的深度顺序。
• 利用非对称PSF响应实现深度的去模糊，从而从单张图像中恢复准确的深度图。
• 通过大量仿真与真实场景实验验证该方法，与现有编码孔径方法进行性能对比。

实验结果

研究问题

• RQ1 是否可设计一种单一编码孔径图案，以同时提升基于模糊的深度估计与模糊去模糊性能？
• RQ2 非对称孔径图案如何增强对焦面前后物体模糊的区分能力？
• RQ3 图像质量评估标准在模糊图像中的深度估计精度方面能提升到何种程度？
• RQ4 与以往方法相比，该方法在不同光照与相机系统条件下的表现如何？
• RQ5 所提出的编码孔径设计在深度精度与图像清晰度方面实现了多大的定量提升？

主要发现

• 所提出的非对称编码孔径通过清晰区分焦面前后物体的模糊特征，显著提升了深度估计精度。
• 该方法在仿真与真实世界实验中均展现出优于现有编码孔径技术的图像去模糊性能。
• 多目标优化框架在多种场景与系统条件下成功平衡了深度估计与去模糊目标。
• 基于图像质量评估的深度估计算法有效区分模糊特征，从而从单张模糊图像中生成准确的深度图。
• 大量评估结果表明，与先前发表的编码孔径设计相比，该方法在深度精度与图像重建质量方面表现更优。
• 该方法在多种真实场景与光照条件下均表现出鲁棒性，证明了其在单张图像深度与去模糊恢复中的实际可行性。