[论文解读] EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images

Changha Shin, Hae‐Gon Jeon+3 more|arXiv (Cornell University)|Apr 6, 2018

Advanced Vision and Imaging参考文献 7被引用 17

一句话总结

EPINET 提出了一种全卷积神经网络，利用对极几何实现从光场图像中快速且精确的深度估计。通过采用多流架构处理四个角度方向，并应用光场特异性数据增强，该方法在 HCI 4D 光场基准测试中取得最先进性能，准确率与速度均排名第一——比第二名方法快 85 倍，同时保持更优的深度图质量。

ABSTRACT

Light field cameras capture both the spatial and the angular properties of light rays in space. Due to its property, one can compute the depth from light fields in uncontrolled lighting environments, which is a big advantage over active sensing devices. Depth computed from light fields can be used for many applications including 3D modelling and refocusing. However, light field images from hand-held cameras have very narrow baselines with noise, making the depth estimation difficult. any approaches have been proposed to overcome these limitations for the light field depth estimation, but there is a clear trade-off between the accuracy and the speed in these methods. In this paper, we introduce a fast and accurate light field depth estimation method based on a fully-convolutional neural network. Our network is designed by considering the light field geometry and we also overcome the lack of training data by proposing light field specific data augmentation methods. We achieved the top rank in the HCI 4D Light Field Benchmark on most metrics, and we also demonstrate the effectiveness of the proposed method on real-world light-field images.

研究动机与目标

• 解决手持光场相机因基线狭窄和子孔径图像噪声导致的精确且高效深度估计挑战。
• 通过引入光场特异性数据增强技术，缓解光场深度估计深度学习模型训练中的数据稀缺问题。
• 设计一种显式融合对极几何的全卷积神经网络，以提升深度图质量与空间一致性。
• 在性能与计算效率之间实现平衡，同时实现高精度与实时推理速度，优化光场深度估计的性能与效率权衡。

提出的方法

• 网络采用四个相同且并行的处理流，分别从子孔径图像的四个角度方向（水平、垂直及两个对角线）提取特征，实现方向不变性并提升几何推理能力。
• 通过融合网络将四个流的特征进行融合，生成适合深度预测的高层表征。
• 采用全卷积架构，实现在全分辨率光场输入上的端到端高效推理，达到亚像素精度。
• 提出一种新颖的数据增强策略，包括视图偏移、旋转、缩放、转置和色彩抖动，专门针对光场图像特性设计，以提升训练数据多样性与模型鲁棒性。
• 在光场数据集上使用监督学习进行端到端训练，损失函数针对视差精度与边缘保持进行优化。
• 后处理包括加权中值滤波，用于去除真实世界数据中的稀疏视差误差，进一步提升最终深度图质量。

实验结果

研究问题

• RQ1 全卷积神经网络能否有效利用对极几何提升光场图像中的深度估计精度？
• RQ2 如何通过领域特定的数据增强策略缓解光场深度估计中的数据稀缺问题？
• RQ3 独立处理角度方向的多流架构在多大程度上能提升深度图质量与边界清晰度？
• RQ4 所提方法是否在保持高精度的同时实现实时推理速度，优于现有基于优化与深度学习的方法？

主要发现

• EPINET 在 HCI 4D 光场基准测试的多数指标中排名第一，包括坏像素比率、均方误差与运行时间。
• 该方法比第二名准确度方法 OBER-cross+ANP 快 85 倍，同时保持更优的深度图质量。
• 多流架构通过方向匹配一致性，实现对飞机机翼与玩具头部等物体边界的锐利检测。
• 所提数据增强策略显著提升模型泛化能力与性能，尤其在具有空间变化噪声的 Dots 场景中表现突出。
• 在 Lytro Illum 相机获取的真实世界光场图像上，EPINET 在 9×9 角度分辨率下实现了高保真度的尺度级 3D 重建，速度与精度均优于先前方法。
• 尽管存在局限性，网络在无纹理与高反射区域仍保持较强性能，表明未来可进一步集成光度或材质先验。