[论文解读] A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching

Zhang Chen, Xinqing Guo+3 more|arXiv (Cornell University)|Aug 2, 2017

Image Processing Techniques and Applications参考文献 35被引用 11

一句话总结

该论文提出了一种基于学习的混合框架，通过图像三元组（一对立体像对和一张模糊图像）统一了基于失焦的深度估计（DfD）与立体匹配。该方法采用沙漏网络分别从DfD和立体匹配中估计深度，再通过多种连接策略融合结果，在真实数据和合成数据上均实现了更高的精度与鲁棒性，尤其在处理无纹理区域和深度不连续性方面表现优异。

ABSTRACT

Depth from defocus (DfD) and stereo matching are two most studied passive depth sensing schemes. The techniques are essentially complementary: DfD can robustly handle repetitive textures that are problematic for stereo matching whereas stereo matching is insensitive to defocus blurs and can handle large depth range. In this paper, we present a unified learning-based technique to conduct hybrid DfD and stereo matching. Our input is image triplets: a stereo pair and a defocused image of one of the stereo views. We first apply depth-guided light field rendering to construct a comprehensive training dataset for such hybrid sensing setups. Next, we adopt the hourglass network architecture to separately conduct depth inference from DfD and stereo. Finally, we exploit different connection methods between the two separate networks for integrating them into a unified solution to produce high fidelity 3D disparity maps. Comprehensive experiments on real and synthetic data show that our new learning-based hybrid 3D sensing technique can significantly improve accuracy and robustness in 3D reconstruction.

研究动机与目标

• 通过结合DfD与立体匹配的互补优势，解决单一方法的局限性。
• 通过生成全面的合成训练数据集，弥补标注DfD数据集的不足，以支持混合DfD-立体设置。
• 开发一种统一的深度学习框架，通过共享架构联合从DfD和立体线索中推断深度。
• 通过多种连接机制融合独立的DfD与立体网络预测结果，提升三维重建的保真度。
• 在真实数据与合成数据上验证方法，证明其在重复纹理和深度不连续性等复杂场景下的鲁棒性。

提出的方法

• 使用FlyingThings3D数据集，结合遮挡感知的光场渲染技术，从立体像对生成模糊图像，构建合成训练数据集。
• 使用Lytro Illum光场相机采集真实世界中的图像三元组（立体像对与模糊图像），用于真实场景评估。
• 实现两个独立的沙漏网络：一个用于基于立体匹配的深度估计，另一个用于基于失焦的深度估计。
• 应用堆叠沙漏结构，通过多尺度、自底向上与自顶向下的特征学习，优化深度预测。
• 探索多种融合策略——拼接、跳跃连接与门控融合——在DfD与立体分支之间整合预测结果。
• 使用真实传感器特征模拟的泊松噪声进行数据增强，端到端训练模型，以真实视差图作为监督信号。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效结合基于失焦的深度估计与立体匹配，从而提升三维重建精度？
• RQ2 DfD与立体网络之间不同的融合架构如何影响最终视差图的质量？
• RQ3 在无纹理区域或深度不连续性等挑战性场景下，所提方法相较于独立的立体匹配或DfD方法，性能提升程度如何？
• RQ4 通过模拟失焦模糊生成的合成数据集，在多大程度上能实现向真实世界数据的泛化？
• RQ5 在立体匹配因纹理重复而失效的区域，引入失焦模糊信息是否能显著提升立体匹配性能？

主要发现

• 所提出的混合框架在无纹理区域和重复纹理区域中，相比独立的立体匹配或DfD方法，显著提升了深度估计的精度与鲁棒性。
• HG-Fusion-Net（采用DfD与立体分支间门控融合）表现最佳，生成了边界清晰、表面平滑的深度图，优于单一网络。
• 真实世界实验表明，该方法成功恢复了树叶和细长结构等精细细节，而仅使用立体匹配的方法则出现过度平滑或误判。
• 训练过程中引入泊松噪声至关重要——在干净数据上训练的模型在真实数据上表现出严重噪声模式，证实了真实数据模拟的重要性。
• 在存在严重遮挡和低纹理区域的复杂场景中，该方法相比[43]在真实数据上的表现更优，验证了其优越性能。
• 通过光场渲染构建的合成数据集有效支持了模型训练与向真实传感器数据的泛化，验证了该方法流程的可行性与可扩展性。