[论文解读] Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing

Jian Gao, Chun Gu+6 more|arXiv (Cornell University)|Nov 27, 2023

Computer Graphics and Visualization Techniques被引用 7

一句话总结

本文提出 Relightable 3D Gaussians，一种可微分的基于点的渲染框架，通过为每个点添加 BRDF 参数、法向量和入射光照，将 3D Gaussian Splatting 扩展至支持实时重光照与光线追踪渲染。通过将光照分解为全局与局部分量，并引入基于 BVH 加速的基于点的光线追踪器，该方法实现了具有精确阴影的物理基础渲染，达到超过 120 FPS 的实时性能，并在 SOTA 基础上提升了材质估计精度。

ABSTRACT

In this paper, we present a novel differentiable point-based rendering framework to achieve photo-realistic relighting. To make the reconstructed scene relightable, we enhance vanilla 3D Gaussians by associating extra properties, including normal vectors, BRDF parameters, and incident lighting from various directions. From a collection of multi-view images, the 3D scene is optimized through 3D Gaussian Splatting while BRDF and lighting are decomposed by physically based differentiable rendering. To produce plausible shadow effects in photo-realistic relighting, we introduce an innovative point-based ray tracing with the bounding volume hierarchies for efficient visibility pre-computation. Extensive experiments demonstrate our improved BRDF estimation, novel view synthesis and relighting results compared to state-of-the-art approaches. The proposed framework showcases the potential to revolutionize the mesh-based graphics pipeline with a point-based pipeline enabling editing, tracing, and relighting.

研究动机与目标

• 实现无需依赖网格表示的 3D 点云实时物理基础重光照。
• 解决现有 3D Gaussian Splatting 方法在材质与光照控制方面的不足，这些方法仅限于新视角合成。
• 开发一种高效、可微分的光线追踪流水线，用于基于点的场景，以支持带阴影的真实感渲染。
• 通过 BRDF 分解与正则化技术，提升材质估计的准确性。
• 展示一个完整的基于点的图形流水线，支持实时编辑、重光照与光线追踪。

提出的方法

• 每个 3D Gaussian 点均扩展了法向量、BRDF 参数（基础颜色、粗糙度、金属度）以及来自多个方向的入射光照。
• 将光照分解为全局（环境贴图）与局部（入射光照场）分量，以提升鲁棒性与分解精度。
• 采用基于物理基础渲染（PBR）的可微分渲染流水线，通过逆向渲染优化 BRDF 与光照参数。
• 提出一种新型基于 BVH 的光线追踪方法，以高效计算可见性并为每个 3D Gaussian 点烘焙阴影效果。
• 应用正则化项，包括基础颜色正则化、BRDF 光滑性与光照正则化，以缓解优化过程中的歧义性。
• 框架集成现成的 MVS 重建技术，以提升真实世界数据中的几何保真度，尤其在具有挑战性的场景中。

实验结果

研究问题

• RQ1 能否通过为每个点添加 BRDF 与光照属性，使 3D Gaussian 点支持逼真的重光照？
• RQ2 如何在基于点的场景中实现高效的可见性计算，以支持带阴影的实时光线追踪渲染？
• RQ3 通过分离全局与局部入射光照分量，能否提升光照与材质分解的性能？
• RQ4 正则化在多大程度上提升了基于点渲染中 BRDF 与光照估计的稳定性与准确性？
• RQ5 一个完全基于点的图形流水线是否能在无需网格重建的情况下，支持编辑、重光照与实时渲染？

主要发现

• 该方法实现了超过 120 FPS 的实时渲染，证明了其在交互式应用中的实际可行性。
• 在 NeRF 合成数据集上，该方法在使用 48 条光线采样时，PSNR 达到 31.78，SSIM 为 0.961，LPIPS 为 0.042，表现出强大的新视角合成性能。
• 消融实验表明，将入射光照分解为全局与局部分量可显著提升光照估计的准确性。
• 基础颜色与光照正则化显著提升了材质分解质量，尤其在真实世界 DTU 数据上表现突出。
• 基于 BVH 的光线追踪器可在基于点的场景中实现精确的阴影效果，支持标准 3DGS 无法实现的真实感渲染。
• 尽管使用了 MVS 进行几何增强，该方法在无界场景与背景干扰方面仍存在困难，表明仍需改进几何先验。