[论文解读] Learning Multi-modal Information for Robust Light Field Depth Estimation

Yongri Piao, Xinxin Ji+2 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Vision and Imaging参考文献 44被引用 5

一句话总结

本文提出了一种多模态学习框架，通过联合利用焦深堆栈和RGB图像，实现鲁棒的光场深度估计。该方法引入了上下文推理单元以捕捉长距离空间依赖关系，并设计了注意力引导的跨模态融合模块，有效整合互补特征，在两个光场数据集上实现了最先进性能，并在手机拍摄的光场数据上展现出良好的泛化能力。

ABSTRACT

Light field data has been demonstrated to facilitate the depth estimation task. Most learning-based methods estimate the depth infor-mation from EPI or sub-aperture images, while less methods pay attention to the focal stack. Existing learning-based depth estimation methods from the focal stack lead to suboptimal performance because of the defocus blur. In this paper, we propose a multi-modal learning method for robust light field depth estimation. We first excavate the internal spatial correlation by designing a context reasoning unit which separately extracts comprehensive contextual information from the focal stack and RGB images. Then we integrate the contextual information by exploiting a attention-guide cross-modal fusion module. Extensive experiments demonstrate that our method achieves superior performance than existing representative methods on two light field datasets. Moreover, visual results on a mobile phone dataset show that our method can be widely used in daily life.

研究动机与目标

• 解决现有基于学习的方法仅依赖焦深堆栈所导致的局限性，后者易受离焦模糊和不完整深度线索的影响。
• 通过将RGB图像中的高层结构信息与对深度敏感的焦深堆栈数据相结合，提升深度估计的鲁棒性。
• 增强上下文推理能力，以解决细长或纹理相似物体场景中的局部深度模糊问题。
• 设计一种自适应融合不同模态特征的跨模态融合机制，以补偿因离焦导致的细节损失。
• 在真实世界手机拍摄的光场数据上展示该方法的泛化能力，证明其在实验室环境之外的实际适用性。

提出的方法

• 设计基于图卷积的上下文推理单元（CRU），分别从焦深堆栈和RGB图像中提取全面的上下文特征，建模长距离空间依赖关系。
• 引入注意力引导的跨模态融合模块（CMFA），利用跨残差连接增强特征，并学习动态注意力权重，以实现多模态表征的有效融合。
• 端到端训练整个网络，联合优化上下文特征提取与跨模态融合过程，以实现深度预测。
• 将焦深堆栈切片作为输入以捕捉离焦线索，同时利用RGB图像获取全局结构与纹理信息。
• 应用跳跃连接与残差学习以稳定训练过程，并在特征融合过程中保留细粒度细节。
• 采用标准深度回归损失（如RMSE、相对误差）并结合多尺度监督进行优化，以提升泛化能力。

实验结果

研究问题

• RQ1 与仅使用焦深堆栈相比，结合RGB图像与焦深堆栈是否能显著提升深度估计的鲁棒性？
• RQ2 上下文推理单元在建模长距离空间依赖关系方面是否能有效缓解局部深度模糊？
• RQ3 注意力引导的融合机制是否能比传统融合策略更有效地挖掘RGB与焦深堆栈特征之间的互补信息？
• RQ4 所提出的方法是否能在真实世界、低质量的手机摄像头拍摄的光场数据上实现良好泛化？
• RQ5 多模态学习在复杂场景中在多大程度上降低了噪声并保留了精细细节？

主要发现

• 所提方法在DUT-LFDD与LFSD两个光场数据集上均达到最先进性能，在所有评估指标上均优于现有SOTA方法。
• 在DUT-LFDD数据集上，该方法实现RMSE为0.3029，REL为0.1455，δ1为0.7859，显著优于DDFF（RMSE: 0.5282）与EPINet（RMSE: 0.4974）。
• 在LFSD数据集上，该方法实现RMSE为0.3167，REL为0.1426，δ1为0.7814，超越非深度学习基线方法及VDFF*与PADMM*等深度学习方法。
• 视觉结果表明，该方法能有效捕捉透明或纹理相似物体等复杂场景中的精细细节与深度变化，同时减少噪声与模糊。
• 该方法在手机拍摄的光场数据上表现出良好泛化能力，生成的深度图比DDFF更清晰，展现出在日常使用场景中的实际应用潜力。
• 消融实验验证了上下文推理单元与注意力引导融合模块对性能提升的显著贡献，且在逐步添加组件时呈现持续改进趋势。