[论文解读] EPI-based Oriented Relation Networks for Light Field Depth Estimation

Kunyuan Li, Jun Zhang+3 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Vision and Imaging参考文献 8被引用 16

一句话总结

本文提出一种基于对齐平面图像（EPIs）的端到端全卷积网络，通过引入一种定向关系模块（ORM）来建模EPI块中线段方向之间的几何关系，实现光场深度估计。该方法在4D光场基准数据集上达到最先进性能，在Boxes和Sideboard等关键场景中无需后处理即可超越先前方法，同时提出一种基于重新对焦的数据增强技术，以提升训练数据的多样性。

ABSTRACT

Light field cameras record not only the spatial information of observed scenes but also the directions of all incoming light rays. The spatial and angular information implicitly contain geometrical characteristics such as multi-view or epipolar geometry, which can be exploited to improve the performance of depth estimation. An Epipolar Plane Image (EPI), the unique 2D spatial-angular slice of the light field, contains patterns of oriented lines. The slope of these lines is associated with the disparity. Benefiting from this property of EPIs, some representative methods estimate depth maps by analyzing the disparity of each line in EPIs. However, these methods often extract the optimal slope of the lines from EPIs while ignoring the relationship between neighboring pixels, which leads to inaccurate depth map predictions. Based on the observation that an oriented line and its neighboring pixels in an EPI share a similar linear structure, we propose an end-to-end fully convolutional network (FCN) to estimate the depth value of the intersection point on the horizontal and vertical EPIs. Specifically, we present a new feature-extraction module, called Oriented Relation Module (ORM), that constructs the relationship between the line orientations. To facilitate training, we also propose a refocusing-based data augmentation method to obtain different slopes from EPIs of the same scene point. Extensive experiments verify the efficacy of learning relations and show that our approach is competitive to other state-of-the-art methods. The code and the trained models are available at https://github.com/lkyahpu/EPI_ORM.git.

研究动机与目标

• 为解决现有基于EPI的深度估计方法忽略EPI中相邻像素之间空间关系的局限性。
• 通过显式建模EPI块中定向线段之间的几何关系，提升深度图的准确性。
• 通过设计一种稳健的端到端学习框架，减少对后处理的依赖，实现深度估计。
• 通过提出一种基于重新对焦的数据增强方法，克服光场训练中的数据稀缺问题，从同一场景点生成具有多样性的EPI斜率。
• 建立一种专为EPI设计的新颖关系建模方法，与现有的空间或时间关系网络有本质区别。

提出的方法

• 该方法采用伪孪生全卷积网络（FCN），包含两个独立分支，分别处理水平和垂直EPI块，以实现空间与角度特征的独立学习。
• 提出一种新颖的定向关系模块（ORM），用于提取并推理EPI块中中心像素与其邻域之间的关系，重点关注线段方向的一致性。
• ORM在不假设特征分布或固定位置的前提下，建模定向线段之间的依赖关系，捕捉对视差估计至关重要的几何结构。
• 提出一种基于重新对焦的数据增强技术，从单一场景点合成具有不同斜率的EPI，以增加训练数据的多样性与鲁棒性。
• 网络在4D光场基准数据集上进行端到端训练，使用真实视差图作为监督信号，通过融合块将两个EPI分支的特征进行融合，实现最终的深度预测。
• 该架构避免了复杂的后处理，依赖网络的归纳偏置与关系推理能力，直接生成高精度视差图。

实验结果

研究问题

• RQ1 与仅提取最优线段斜率的方法相比，建模EPI块中定向线段之间的几何关系是否能提升深度估计的准确性？
• RQ2 引入专门用于捕捉线段方向一致性的关系模块（ORM），是否能增强基于EPI的深度估计中的特征表示能力？
• RQ3 基于重新对焦的数据增强是否能有效提升训练数据的可变性，并改善光场深度估计的泛化能力？
• RQ4 在存在遮挡和无纹理区域等挑战性场景下，该方法与最先进方法相比，在准确性和计算效率方面表现如何？
• RQ5 该方法在多大程度上能实现高性能，而无需依赖先前工作中常见的后处理优化技术？

主要发现

• 该方法在4D光场基准数据集的8个场景中有4个场景达到最佳性能，Boxes场景的BadPix误差最低（13.373），Sideboard场景为5.580。
• 在Cotton场景中，BadPix误差为0.869，略优于次佳方法（0.810），并在Pyramids场景中达到最佳结果（0.240）。
• 在Pyramids场景中，MSE误差最低（0.016），优于次佳方法（0.020），在其余所有场景中均位列前三。
• 尽管仅使用两个分支且参数量仅为EPINET（当时SOTA）的一半（30层 vs. 28层，4分支），该方法在Boxes和Sideboard场景中仍优于EPINET的深度图预测结果。
• 该方法在无需任何后处理的情况下取得具有竞争力的结果，而大多数最先进方法依赖额外的优化步骤来优化预测结果。
• 由于噪声导致的虚假线段估计，该模型在Dots场景中表现不佳，表明未来需整合全局线段约束以进一步提升性能。