[论文解读] LapEPI-Net: A Laplacian Pyramid EPI structure for Learning-based Dense Light Field Reconstruction

Gaochang Wu, Yebin Liu+2 more|arXiv (Cornell University)|Feb 17, 2019

Advanced Vision and Imaging参考文献 33被引用 6

一句话总结

LapEPI-Net 提出了一种拉普拉斯金字塔 EPI（LapEPI）结构，将光场斯皮尔平面图像（EPIs）分解为多尺度空间分量，以解决基于学习的密集光场重建中的混叠或模糊权衡问题。通过在傅里叶域分析 EPI，该方法表明减小空间尺度比预滤波更有效，从而提出一种新颖的网络架构，利用自然图像和非结构化光场的迁移学习，实现了在非朗伯表面和视角稀疏场景下的最先进性能，且几乎无模糊或混叠现象。

ABSTRACT

For dense sampled light field (LF) reconstruction problem, existing approaches focus on a depth-free framework to achieve non-Lambertian performance. However, they trap in the trade-off "either aliasing or blurring" problem, i.e., pre-filtering the aliasing components (caused by the angular sparsity of the input LF) always leads to a blurry result. In this paper, we intend to solve this challenge by introducing an elaborately designed epipolar plane image (EPI) structure within a learning-based framework. Specifically, we start by analytically showing that decreasing the spatial scale of an EPI shows higher efficiency in addressing the aliasing problem than simply adopting pre-filtering. Accordingly, we design a Laplacian Pyramid EPI (LapEPI) structure that contains both low spatial scale EPI (for aliasing) and high-frequency residuals (for blurring) to solve the trade-off problem. We then propose a novel network architecture for the LapEPI structure, termed as LapEPI-net. To ensure the non-Lambertian performance, we adopt a transfer-learning strategy by first pre-training the network with natural images then fine-tuning it with unstructured LFs. Extensive experiments demonstrate the high performance and robustness of the proposed approach for tackling the aliasing-or-blurring problem as well as the non-Lambertian reconstruction.

研究动机与目标

• 为解决基于学习的密集光场（LF）重建中持续存在的混叠或模糊权衡问题，尤其是在视角稀疏条件下。
• 克服基于深度的方法在玻璃、毛发或反光材料等非朗伯表面场景中失效的局限性。
• 设计一种 EPI 结构，明确处理高频分量和混叠问题，而不依赖导致模糊的预滤波。
• 开发一种深度学习框架，适用于多种光场采集几何结构，包括全向相机和显微镜阵列。
• 在无需深度监督或结构化 LF 数据训练的情况下，实现对非朗伯表面场景的鲁棒、高保真视图合成。

提出的方法

• 该方法引入傅里叶域分析，表明在减小 EPI 的空间尺度方面，比增大预滤波核尺寸更有效，可缓解混叠或模糊问题。
• 设计了一种拉普拉斯金字塔 EPI（LapEPI）结构，将输入 EPI 分解为低空间尺度分量（用于抑制混叠）和高频残差分量（用于防止模糊）。
• 提出一种新型网络架构 LapEPI-Net，用于端到端处理多尺度 EPI 结构，在保持视角分辨率的同时增强空间细节。
• 采用两阶段迁移学习策略：首先在自然图像上进行预训练以学习通用图像先验，然后在非结构化光场上微调以适应光场特定模式。
• 该框架避免了深度估计，通过从原始 EPI 学习，无需几何或反射率监督，从而实现非朗伯表面性能。
• 网络训练目标是从稀疏采样输入重建密集光场，单视图推理时间在四核 CPU 上低于 1 秒。

实验结果

研究问题

• RQ1 在傅里叶域中减小 EPI 的空间尺度，是否比传统预滤波方法更有效地解决混叠或模糊权衡问题？
• RQ2 如何设计一种多尺度 EPI 结构，以在视角稀疏光场中同时保留高频分量并抑制混叠？
• RQ3 从自然图像和非结构化光场进行迁移学习，在非朗伯光场重建中能在多大程度上提升泛化能力？
• RQ4 基于学习的 EPI 框架是否能在无深度监督或显式几何建模的情况下实现最先进性能？
• RQ5 LapEPI 结构在多种光场采集系统（包括全向相机和显微镜阵列）中的表现如何？

主要发现

• 在反射类别中，LapEPI-Net 达到 PSNR 35.42 和 SSIM 0.926，优于先前方法如 Wu 等 [31]（PSNR 29.22，SSIM 0.909）和 Kalantari 等 [14]（PSNR 28.60，SSIM 0.795）。
• 在 Stanford 2006 显微镜数据集上，LapEPI-Net 达到 PSNR 35.79 和 SSIM 0.913，显著优于 Wu 等 [31]（PSNR 32.36，SSIM 0.885）和 Kalantari 等 [14]（PSNR 24.91，SSIM 0.593）。
• 在 Cam. array 显微镜数据集上，LapEPI-Net 达到 PSNR 29.67 和 SSIM 0.916，优于 Wu 等 [31]（PSNR 27.08，SSIM 0.890）和 Kalantari 等 [14]（PSNR 21.40，SSIM 0.701）。
• 该方法在具有复杂遮挡和半透明性的挑战性场景（如高尔基染色神经元和果蝇幼虫）中生成无伪影结果，而先前方法则出现撕裂、鬼影或模糊现象。
• 推理速度在四核 CPU 上每视图低于 1 秒，效率优于先前方法，同时保持了更优的重建质量。
• 使用自然图像和非结构化 LF 的迁移学习策略实现了强大泛化能力，即使模型未在全向相机数据上微调也表现良好。