[论文解读] Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines

Ben Mildenhall, Pratul P. Srinivasan+5 more|arXiv (Cornell University)|May 2, 2019

Advanced Vision and Imaging参考文献 48被引用 107

一句话总结

我们将每个输入视图通过多平面图像（MPI）扩展为局部光场，并将相邻的 MPI 进行混合以合成新视图，提供可预测的采样指南，能达到 Nyquist 质量的结果，输入视图数量最多可减少 4000×。

ABSTRACT

We present a practical and robust deep learning solution for capturing and rendering novel views of complex real world scenes for virtual exploration. Previous approaches either require intractably dense view sampling or provide little to no guidance for how users should sample views of a scene to reliably render high-quality novel views. Instead, we propose an algorithm for view synthesis from an irregular grid of sampled views that first expands each sampled view into a local light field via a multiplane image (MPI) scene representation, then renders novel views by blending adjacent local light fields. We extend traditional plenoptic sampling theory to derive a bound that specifies precisely how densely users should sample views of a given scene when using our algorithm. In practice, we apply this bound to capture and render views of real world scenes that achieve the perceptual quality of Nyquist rate view sampling while using up to 4000x fewer views. We demonstrate our approach's practicality with an augmented reality smartphone app that guides users to capture input images of a scene and viewers that enable realtime virtual exploration on desktop and mobile platforms.

研究动机与目标

• 将 plenoptic 采样理论扩展到规定输入视图采样密度以实现可靠的高质量视图合成。
• 开发一个实用的管线，将不规则视图网格扩展为局部光场，使用 MPI 并将它们混合以实现连续视图重建。
• 证明深度学习可以从小范围视图预测 MPI，以实现最先进的结果。
• 在 AR 应用和跨移动端及桌面平台的实时渲染中展示该方法。

提出的方法

• 通过一个自适应输入采样率的 3D CNN，将每个采样视图提升为带 D 个深度平面的局部 MPI。
• 通过从后向前对 RGB-Alpha MPI 平面进行 alpha 融合并混合相邻 MPI 的渲染来合成新视图。
• 扩展 plenoptic 采样以处理遮挡，通过预测每层的不透明度并使用 alpha 感知混合（Equation 8）。
• 在遮挡条件下导出一个采样上限，使所需视图密度降低一个因子 D（以及两视角时为 D^2），参考方程（4–6, 7）。
• 用合成数据（SUNCG, UnrealCV）和真实手持数据对管线进行训练，使用图像重建损失和感知损失监督，并进行分阶段训练以提高效率。

实验结果

研究问题

• RQ1 必须以多密度采集输入视图，才能可靠地使用局部光场融合渲染高质量的新视图？
• RQ2 一个深度网络能否从一小段不规则的视图集合中预测 MPI，同时在多个新视点之间保持一致性？
• RQ3 MPI 深度平面数量 D 如何影响视图合成质量和所需的采样密度？
• RQ4 相对于单一 MPI 方法，基于 alpha 引导的多 MPI 渲染混合是否能更好地处理遮挡和非朗伯特效？
• RQ5 该方法是否能在实时 AR/VR 应用中以显著减少的输入视图达到 Nyquist 水平的感知质量？

主要发现

• 该方法在使用 64 MPI 平面时，输入视图数量最多可减少约 4000×，达到可感知的 Nyquist 采样等效质量（例如 64^2 视图）。
• 将每个视图提升为具有 D 平面的 MPI，在遮挡下将所需的相机采样间隔降低一个因子 D（两视角方向为 D^2）。
• Alpha 感知混合多 MPI 渲染比简单平均或单 MPI 渲染具有更高保真度和更少伪影。
• 3D CNN 能根据输入采样率自适应深度平面数量，实现灵活的、尺度感知的视图合成。
• 该管线支持桌面和移动端的实时渲染，并通过合成数据和真实世界手持数据进行验证。