[论文解读] Deep Depth From Focus

Caner Hazırbaş|arXiv (Cornell University)|Apr 4, 2017

Image Processing Techniques and Applications参考文献 40被引用 6

一句话总结

本文提出DDFFNet，这是首个用于聚焦深度（DFF）的端到端深度学习方法，利用包含光场和RGB-D真实值的新型720张图像数据集。通过在数字生成的聚焦堆栈和真实深度图上进行训练，DDFFNet相比经典DFF方法将深度误差降低了75%以上，并在GPU上以0.58秒的速度预测视差图。

ABSTRACT

Depth from focus (DFF) is one of the classical ill-posed inverse problems in computer vision. Most approaches recover the depth at each pixel based on the focal setting which exhibits maximal sharpness. Yet, it is not obvious how to reliably estimate the sharpness level, particularly in low-textured areas. In this paper, we propose `Deep Depth From Focus (DDFF)' as the first end-to-end learning approach to this problem. One of the main challenges we face is the hunger for data of deep neural networks. In order to obtain a significant amount of focal stacks with corresponding groundtruth depth, we propose to leverage a light-field camera with a co-calibrated RGB-D sensor. This allows us to digitally create focal stacks of varying sizes. Compared to existing benchmarks our dataset is 25 times larger, enabling the use of machine learning for this inverse problem. We compare our results with state-of-the-art DFF methods and we also analyze the effect of several key deep architectural components. These experiments show that our proposed method `DDFFNet' achieves state-of-the-art performance in all scenes, reducing depth error by more than 75% compared to the classical DFF methods.

研究动机与目标

• 为解决聚焦深度（DFF）的病态问题，即基于清晰度的深度估计在无纹理区域会失效。
• 通过创建包含真实深度的大型真实世界数据集，克服DFF深度学习中的数据稀缺问题。
• 开发一个端到端的深度神经网络，直接从聚焦堆栈预测视差图，取代传统的优化与正则化方法。
• 证明深度网络学习到的先验知识在复杂真实场景中优于手工设计特征和变分方法。

提出的方法

• 作者使用Lytro ILLUM光场相机在12个室内场景中捕获了720张光场图像，支持生成不同尺寸的数字聚焦堆栈。
• 通过校准的RGB-D传感器获取配准的真实深度，提供用于监督的精确视差图。
• 训练一种定制的自编码器结构卷积神经网络DDFFNet，使用基于L1和L2范数的损失函数，端到端地从聚焦堆栈预测视差图。
• 网络采用跳跃连接（CC3变体）和带有学习上采样机制的解码器，以保留细节和物体边界。
• 该方法在新构建的12场景数据集上进行评估，并通过智能手机捕获的聚焦堆栈推广至移动DFF应用。
• 作者将DDFFNet与最先进的DFF方法（VDFF、PSPNet、Lytro）及光场深度基线方法进行比较，采用RMSE、MSE和坏像素率等指标。

实验结果

研究问题

• RQ1 与经典变分方法相比，端到端深度学习能否显著提升聚焦深度的性能？
• RQ2 是否一个包含RGB-D传感器真实深度的大规模真实世界数据集足以训练用于DFF的深度网络？
• RQ3 不同的编码器-解码器结构和跳跃连接如何影响DFF预测中的精度与边界保持能力？
• RQ4 所提出的方法能否在聚焦堆栈分辨率有限且深度传感器噪声较大的真实世界移动相机上实现良好泛化？

主要发现

• 与最先进的变分DFF方法（VDFF）相比，DDFFNet将深度误差降低了75%以上，在12场景数据集上实现了0.86米的平均RMSE。
• DDFFNet的CC3变体在保持锐利物体边界的同时实现了最低的视差误差，尽管推理速度与PSPNet和DFLF相似，但性能更优。
• DDFFNet在Titan X GPU上仅需0.58秒运行，比VDFF（2.83秒）快四倍以上，也远快于Lytro的CPU基线管道（25.26秒）。
• 该方法在移动DFF上表现出良好泛化能力：在智能手机捕获的聚焦堆栈上测试时，DDFFNet仍保持高精度，证明了对真实世界噪声和有限分辨率的鲁棒性。
• 定性结果中的失败案例显示，即使在平坦无纹理表面上，DDFFNet仍优于Lytro和VDFF，而传统方法因清晰度变化小而失效。
• 激活热图证实，网络学会了关注图像中与深度估计相关的区域，尤其是在边缘和深度变化区域。