[论文解读] Fast and Accurate Optical Flow based Depth Map Estimation from Light Fields

Yang Chen, Martin Alain+1 more|arXiv (Cornell University)|Aug 11, 2020

Advanced Vision and Imaging参考文献 27被引用 33

一句话总结

本文提出一种基于光场的深度估计方法，通过在角度维度上应用光流，使用 CPM 进行初始化，并通过特征流时空-角度过滤来获得密集且一致的视差图，这些视差图被转换为深度，并且可以产生额外密集的点云。

ABSTRACT

Depth map estimation is a crucial task in computer vision, and new approaches have recently emerged taking advantage of light fields, as this new imaging modality captures much more information about the angular direction of light rays compared to common approaches based on stereoscopic images or multi-view. In this paper, we propose a novel depth estimation method from light fields based on existing optical flow estimation methods. The optical flow estimator is applied on a sequence of images taken along an angular dimension of the light field, which produces several disparity map estimates. Considering both accuracy and efficiency, we choose the feature flow method as our optical flow estimator. Thanks to its spatio-temporal edge-aware filtering properties, the different disparity map estimates that we obtain are very consistent, which allows a fast and simple aggregation step to create a single disparity map, which can then converted into a depth map. Since the disparity map estimates are consistent, we can also create a depth map from each disparity estimate, and then aggregate the different depth maps in the 3D space to create a single dense depth map.

研究动机与目标

• 利用四维光场的角信息推动深度图估计。
• 在光场的角度维上开发一个快速、准确的基于光流的处理流程。
• 将粗到细的补丁匹配与时空-角度边缘感知过滤结合，以获得密集、稳定的视差估计。
• 聚合多个视差图以获得密集深度图或密集的三维点云。

提出的方法

• 通过固定一个角度维并取一系列视图，提取一个三维时空-角度体积。
• 使用粗到细的补丁匹配（CPM）在相邻视图之间初始化光流。
• 应用一种边缘感知的时空-角度滤波（特征流）来在角度切片上致密化并规整稀疏匹配。
• 跨角度视图聚合视差估计，通过简单的中值聚合再进行一步变分优化更新，形成最终深度图。
• 可选地融合多个深度图以创建额外密集的三维点云。

实验结果

研究问题

• RQ1 角度维度的光流是否能够为光场深度估计提供精确的视差估计？
• RQ2 以 CPM 进行初始化并用特征流进行过滤是否能实现有利的速度/精度权衡？
• RQ3 角度一致性过滤对深度图质量和边缘保留有何影响？
• RQ4 在不进行昂贵的全局优化的情况下，是否可以融合多个视差估计以生成更密集的三维点云？

主要发现

• 角度时空-角度特征流过滤显著提升了光流在初始稀疏匹配上的准确性和一致性。
• CPM 初始化在速度与精度的权衡上提供最佳性能。
• 由于角度一致性，简单的中值聚合再加一步变分精细化就足以得到高质量的最终深度图。
• 该方法在 HCI 数据集上与最先进光场深度估计方法相比，达到具竞争力的精度和速度。
• 该方法通过在三维空间聚合多个深度估计来生成额外密集的点云，在某些情况下超过单一深度图的密度。
• 在物体边界和嘈杂场景下，边缘保持的结果较佳，尽管局部过滤有时不如全局优化平滑。