[论文解读] SPIDR: SDF-based Neural Point Fields for Illumination and Deformation

Ruofan Liang, Jiahao Zhang+4 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Vision and Imaging被引用 12

一句话总结

SPIDR 提出了一种基于混合 SDF 的神经点场方法，用于 3D 重建，可实现高保真度的几何形变与物理上准确的光照更新。通过结合显式点云操作与神经隐式 SDF 及阴影映射技术，SPIDR 在形变后实现了逼真的逆光与阴影效果，其在定性和定量指标上均优于以往基于 NeRF 的方法。

ABSTRACT

Neural radiance fields (NeRFs) have recently emerged as a promising approach for 3D reconstruction and novel view synthesis. However, NeRF-based methods encode shape, reflectance, and illumination implicitly and this makes it challenging for users to manipulate these properties in the rendered images explicitly. Existing approaches only enable limited editing of the scene and deformation of the geometry. Furthermore, no existing work enables accurate scene illumination after object deformation. In this work, we introduce SPIDR, a new hybrid neural SDF representation. SPIDR combines point cloud and neural implicit representations to enable the reconstruction of higher quality object surfaces for geometry deformation and lighting estimation. meshes and surfaces for object deformation and lighting estimation. To more accurately capture environment illumination for scene relighting, we propose a novel neural implicit model to learn environment light. To enable more accurate illumination updates after deformation, we use the shadow mapping technique to approximate the light visibility updates caused by geometry editing. We demonstrate the effectiveness of SPIDR in enabling high quality geometry editing with more accurate updates to the illumination of the scene.

研究动机与目标

• 为解决基于 NeRF 的精细几何形变（包括刚性与非刚性变换）编辑的挑战。
• 在物体形变后实现准确的光照与阴影更新，而现有 NeRF 方法无法建模此效果。
• 通过使用基于坐标的 MLP 显式估计环境光照，提升场景逆光效果。
• 通过引入结合点云与神经 SDF 的混合表示，克服 NeRF 中隐式表示的局限性，从而提升可编辑性与表面质量。

提出的方法

• SPIDR 使用结合点云与 SDF 的混合神经隐式表示，以实现具有显式可编辑性的高质量 3D 几何重建。
• 采用基于坐标的 MLP 来建模环境光照，从而实现准确的光照估计，支持逆光处理。
• 在形变后进行光照更新时，SPIDR 利用阴影映射技术，基于 NeRF 估计的深度图来近似光照可见性变化。
• 通过直接点云操作或使用带骨架笼的网格引导形变来执行几何编辑。
• 系统使用更新后的光照与阴影信息进行基于物理的渲染（PBR），以合成形变后的场景视角。
• 引入一种新型正则化方案，以提升 SDF 质量与表面重建的保真度。

实验结果

研究问题

• RQ1 混合神经 SDF 表示是否能更有效地实现基于 NeRF 的 3D 重建中的显式几何编辑？
• RQ2 如何准确估计并更新环境光照，以反映因物体形变导致的变化？
• RQ3 阴影映射是否能有效用于近似形变后的可见性变化，以实现逼真的阴影效果？
• RQ4 将显式几何编辑与动态光照估计相结合，是否能相比隐式 NeRF 编辑产生更高质量的渲染输出？
• RQ5 所提出的方法是否能在几何重建与逆光处理两方面均优于现有最先进方法？

主要发现

• 在形变的模特场景中，SPIDR 的 PSNR 达到 32.93，在 T-Rex 场景中达到 33.47，两项指标均优于 Deforming-NeRF 与 NVDiffRec。
• 与先前工作相比，该方法将 LPIPS 降低了 30% 至 50%，表明渲染结果更具感知保真度，视觉质量更优。
• SPIDR 在法向估计上的平均 MAE 为 0.015，在光泽度估计上为 0.040，表明其表面属性预测准确。
• 使用阴影映射可实现形变后的逼真阴影更新，定性结果表明遮挡变化正确。
• 在逆光处理中，SPIDR 估计的环境光照与真实值高度接近，视觉结果展现出一致且合理的光照变化。
• SPIDR 的 PBR 渲染结果比非 PBR 基线更逼真，LPIPS 更低、PSNR 更高，尤其在复杂光照场景中表现更优。