[论文解读] GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces

Yingwenqi Jiang, Jiadong Tu+5 more|arXiv (Cornell University)|Nov 29, 2023

Computer Graphics and Visualization Techniques被引用 4

一句话总结

GaussianShader 提出了一种新型的3D高斯溅射框架，通过引入简化的着色函数和几何感知的法线估计方法，实现了高保真、实时的反射表面渲染。通过使用球谐函数建模漫反射颜色、直接反射和残余间接光照，并采用基于最短轴的法线正则化，该方法在镜面反射数据集上的PSNR相比高斯溅射提升了1.57dB，同时保持实时推理速度，并将优化时间缩短至0.58小时——远快于以往的反射渲染方法。

ABSTRACT

The advent of neural 3D Gaussians has recently brought about a revolution in the field of neural rendering, facilitating the generation of high-quality renderings at real-time speeds. However, the explicit and discrete representation encounters challenges when applied to scenes featuring reflective surfaces. In this paper, we present GaussianShader, a novel method that applies a simplified shading function on 3D Gaussians to enhance the neural rendering in scenes with reflective surfaces while preserving the training and rendering efficiency. The main challenge in applying the shading function lies in the accurate normal estimation on discrete 3D Gaussians. Specifically, we proposed a novel normal estimation framework based on the shortest axis directions of 3D Gaussians with a delicately designed loss to make the consistency between the normals and the geometries of Gaussian spheres. Experiments show that GaussianShader strikes a commendable balance between efficiency and visual quality. Our method surpasses Gaussian Splatting in PSNR on specular object datasets, exhibiting an improvement of 1.57dB. When compared to prior works handling reflective surfaces, such as Ref-NeRF, our optimization time is significantly accelerated (23h vs. 0.58h). Please click on our project website to see more results.

研究动机与目标

• 解决3D高斯溅射在缺乏视角依赖外观建模的情况下，难以渲染反射和高光表面的问题。
• 实现在不牺牲训练或推理速度的前提下，对复杂材质（包括高度反射表面）的高效、实时渲染。
• 在离散的3D高斯上开发一种鲁棒的法线估计框架，使其与几何结构对齐，以实现精确的着色计算。
• 将简化的着色模型（包含漫反射、直接反射和残余反射分量）集成到3D高斯表示中，以提升真实感。

提出的方法

• 提出一种简化的着色函数，利用三阶球谐函数建模漫反射颜色、直接反射和残余间接光照。
• 提出一种基于每个3D高斯最短轴方向的新型法线表示方法，并引入可学习的法线残差以提升精度。
• 采用可微分的法线-几何一致性损失，将预测的法线与从渲染深度图中推导出的法线对齐。
• 在端到端训练过程中，使用显式的环境光照贴图实现可微分的、视角依赖的光照模拟。
• 应用稀疏正则化损失，以保持紧凑的3D高斯分布并避免过拟合。
• 将着色模型集成到3D高斯溅射流程中，同时保持实时渲染速度和训练效率。

实验结果

研究问题

• RQ1 能否在不牺牲效率的前提下，将简化的着色函数有效集成到3D高斯溅射中，以提升反射表面的渲染质量？
• RQ2 如何在离散的、非连续的3D高斯球体上准确估计表面法线，以实现可靠的着色计算？
• RQ3 何种法线表示和正则化策略最能将预测的法线与3D高斯的底层几何结构对齐？
• RQ4 在3D高斯渲染中，显式光照表示是否能优于隐式的MLP基光照？
• RQ5 残余颜色项在复杂、视角依赖的反射中，对渲染质量的提升程度如何？

主要发现

• GaussianShader在Tanks and Temples数据集上实现了32.76的PSNR，优于Gaussian Splatting（32.05）和Ref-NeRF（31.73），证明了其更优的渲染质量。
• 该方法将优化时间缩短至0.58小时，显著优于Ref-NeRF的23小时，同时保持97 FPS的实时渲染性能。
• 消融实验证实，法线-几何一致性损失和稀疏正则化对高质量法线估计和渲染至关重要。
• 与无残余颜色项的模型相比，引入残余颜色（三阶SH系数）使PSNR提升了0.3dB，显著增强了间接光照建模能力。
• 视觉对比显示，GaussianShader生成的法线更平滑、更准确，且高光效果比Gaussian Splatting和Ref-NeRF更真实。
• 显式环境光照贴图表示在PSNR和视觉质量上均优于MLP基光照，尤其在反射表面上表现更优。