[论文解读] DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering

Liwen Wu, Jae Yong Lee+3 more|arXiv (Cornell University)|Nov 19, 2021

Computer Graphics and Visualization Techniques参考文献 55被引用 5

一句话总结

DIVeR 提出了一种基于体素特征场的确定性体素渲染积分方法，实现了实时、高精度的神经辐射场渲染，取代了传统的随机蒙特卡洛采样。通过使用多层感知机（MLP）和 alpha 混合对每个体素估算体渲染积分，该方法在保持小模型尺寸（约 64MB）和快速推理（约 50 FPS）的同时，实现了对细薄半透明结构的高保真渲染，并支持自然直观的编辑操作，在速度、质量和效率方面优于当前最先进的 NeRF 变体。

ABSTRACT

DIVeR builds on the key ideas of NeRF and its variants -- density models and volume rendering -- to learn 3D object models that can be rendered realistically from small numbers of images. In contrast to all previous NeRF methods, DIVeR uses deterministic rather than stochastic estimates of the volume rendering integral. DIVeR's representation is a voxel based field of features. To compute the volume rendering integral, a ray is broken into intervals, one per voxel; components of the volume rendering integral are estimated from the features for each interval using an MLP, and the components are aggregated. As a result, DIVeR can render thin translucent structures that are missed by other integrators. Furthermore, DIVeR's representation has semantics that is relatively exposed compared to other such methods -- moving feature vectors around in the voxel space results in natural edits. Extensive qualitative and quantitative comparisons to current state-of-the-art methods show that DIVeR produces models that (1) render at or above state-of-the-art quality, (2) are very small without being baked, (3) render very fast without being baked, and (4) can be edited in natural ways.

研究动机与目标

• 解决 NeRF 中随机体渲染的局限性，特别是由于采样稀疏导致的细薄半透明结构渲染效果差的问题。
• 开发一种实时、高精度的神经辐射场方法，保持高保真度的同时实现极小的模型尺寸和快速推理。
• 通过在体素化表示中暴露特征语义，实现直观、语义感知的场景编辑。
• 通过用体素区间上的确定性积分替代随机采样，降低计算成本和梯度噪声。

提出的方法

• DIVeR 将场景表示为体素网格，其中每个体素顶点存储一个可学习的特征向量，实现局部化、语义感知的表示。
• 对于每条光线，通过将光线划分为对应于体素的区间来计算体渲染积分，每个体素的贡献通过 MLP 进行估算。
• 集成器使用特征向量和 MLP 预测密度与颜色，然后通过 alpha 混合聚合各体素区间的贡献。
• 该方法采用确定性方法估算体渲染积分，避免了蒙特卡洛方法带来的方差和采样效率低下问题。
• 采用混合隐式-显式训练策略，并对特征向量进行 tanh 映射，实现高效存储（如 uint8），且质量损失可忽略。
• 通过梯度下降进行模型训练，以最小化像素级重建误差，推理过程通过查询体素化特征场中的光线完成。

实验结果

研究问题

• RQ1 确定性体渲染集成器是否能在神经辐射场中对细薄半透明结构的渲染效果上超越随机蒙特卡洛采样？
• RQ2 与隐式 NeRF 相比，基于 MLP 的体素内集成的体素化特征场在模型尺寸、推理速度和渲染质量方面有何影响？
• RQ3 体素网格中的特征向量在多大程度上能够支持直观、语义感知的场景编辑（如物体替换或场景组合）？
• RQ4 与随机采样相比，确定性积分是否能减少训练噪声并提高优化效率？
• RQ5 该方法是否能在保持 SOTA PSNR 水平的同时，实现 50 FPS 的实时推理（如单张 1080 Ti GPU）和极小的模型尺寸（如约 64MB）？

主要发现

• 在 64MB float32 模型下，DIVeR 在 lego 场景中实现了 35.52 的 PSNR，优于相似模型尺寸的随机基线方法（33.89 PSNR）。
• 该方法在单张 1080 Ti GPU 上实现约 50 FPS 的渲染速度，显著快于标准 NeRF（每帧需数分钟）。
• 通过将特征向量量化为 uint8，模型尺寸减少至约 19MB，PSNR 仅轻微下降（35.44 vs. 35.52），实现了高效的部署。
• DIVeR 能够成功渲染鼓面等细薄半透明结构，而基于蒙特卡洛的 NeRF 因采样不足而无法捕捉这些结构。
• 体素化特征表示支持自然编辑：通过混合体素网格和聚类特征，可实现物体替换和场景组合，且结果在视角变化中保持一致。
• 消融实验证实，确定性积分和隐式-显式训练策略对性能至关重要，随机采样或纯隐式模型会导致明显的质量下降。