[论文解读] NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

Pratul P. Srinivasan, Boyang Deng+4 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Vision and Imaging被引用 5

一句话总结

NeRV 引入了一种神经体积表示方法，通过多层感知机（MLP）联合预测反射率场和可见性场，实现了在任意光照条件下的逼真新视角合成与光照重演。通过将可见性和表面相交建模为可学习函数，它在训练过程中高效模拟了直接光照和间接光照，在复杂光照场景中优于先前的方法，同时保持了高保真度的渲染效果。

ABSTRACT

We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.

研究动机与目标

• 实现从任意非受限光照条件下拍摄的图像中进行高保真度 3D 场景重建。
• 支持在未见过的光照条件下进行新视角合成与光照重演，包括间接光照和多光源情况。
• 通过学习可见性场与相交场，克服神经辐射场中暴力光传输模拟的计算不可行性。
• 提升对复杂光照设置（如多点光源和环境贴图）的泛化能力，这些设置对先前方法构成挑战。
• 提供一个可微分的、端到端可训练的框架，联合优化几何、材质与可见性，实现物理上合理的渲染。

提出的方法

• 该方法将 3D 场景表示为由 MLP 参数化的连续体积函数，输入为 3D 空间坐标。
• MLP 输出体积密度、表面法线、材质参数、到首次表面相交的距离，以及任意方向上外部环境的可见性。
• 引入神经可见性场（NVF）以近似光线上的可见性，替代训练期间光传输的昂贵暴力光线步进。
• 模型采用可微分体积渲染，并结合基于物理的图像形成模型，同时考虑直接光照与一次反弹的间接光照。
• 表面法线通过形状 MLP 的相交距离与梯度解析计算，提升了精度与训练稳定性。
• 网络通过梯度下降进行训练，以最小化在已知光照下渲染图像与观测输入图像之间的差异。

实验结果

研究问题

• RQ1 神经场表示能否联合建模反射率与可见性，以实现在任意光照条件下的光照重演？
• RQ2 如何在神经体积表示中高效建模可见性与表面相交，以使复杂光照模拟在训练过程中变得可行？
• RQ3 在多光源或环境光照场景中，学习可见性场而非依赖暴力光线步进是否能提升性能？
• RQ4 建模一次反弹间接光照在复杂光照场景中对渲染质量的提升程度如何？
• RQ5 使用 MLP 预测的表面法线与解析计算的表面法线相比，对重建精度与视觉保真度的影响如何？

主要发现

• 在包含多点光源与环境贴图等复杂光照的场景中，NeRV 在所有基线方法中表现最优，而先前方法在此类场景中失效或性能显著下降。
• 在 'Ambient+Point' 光照条件下，NeRV 在 Hotdogs 数据集上达到 25.06 的 PSNR，在 Lego 数据集上达到 23.79，优于 NLT 基线与潜在码方法。
• 消融研究显示，建模间接光照可提升视觉质量，明显体现为 Lego 拖拉机阴影区域亮度增加的互反射效应。
• 使用解析计算的表面法线相比 MLP 预测的法线，可获得更准确的法线结果，在 'Ambient+Point' 条件下，Hotdogs 数据集的 PSNR 提升了 1.14。
• 该方法在训练中未见过的新视角与光照条件下泛化良好，表现出对光照变化的鲁棒性。
• 可见性场通过避免逐光源光线步进，实现了高效渲染，在保持高保真度的同时降低了计算成本。