[论文解读] MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures

Zhiqin Chen, Thomas Funkhouser+2 more|arXiv (Cornell University)|Jul 30, 2022

Computer Graphics and Visualization Techniques被引用 10

一句话总结

MobileNeRF 提出了一种新颖的 NeRF 表示方法，采用带纹理的多边形和轻量级视图相关 MLP，通过标准图形硬件实现在移动设备上的交互式、高质量新视角合成。通过利用多边形光栅化流水线结合深度缓冲（z-buffering）和片段着色器，其渲染速度比 SNeRG 快 10 倍，同时内存占用更低，并可在网页浏览器和集成 GPU 上运行。

ABSTRACT

Neural Radiance Fields (NeRFs) have demonstrated amazing ability to synthesize images of 3D scenes from novel views. However, they rely upon specialized volumetric rendering algorithms based on ray marching that are mismatched to the capabilities of widely deployed graphics hardware. This paper introduces a new NeRF representation based on textured polygons that can synthesize novel images efficiently with standard rendering pipelines. The NeRF is represented as a set of polygons with textures representing binary opacities and feature vectors. Traditional rendering of the polygons with a z-buffer yields an image with features at every pixel, which are interpreted by a small, view-dependent MLP running in a fragment shader to produce a final pixel color. This approach enables NeRFs to be rendered with the traditional polygon rasterization pipeline, which provides massive pixel-level parallelism, achieving interactive frame rates on a wide range of compute platforms, including mobile phones.

研究动机与目标

• 在移动设备和低功耗设备上实现实时、高质量的神经辐射场新视角合成。
• 通过利用通用图形硬件，克服传统 NeRF 和 SNeRG 在性能和内存方面的限制。
• 用标准光栅化流水线替代体素采样，以实现大规模像素级并行处理。
• 通过简单的三角形网格表示支持对 3D 场景的交互式操作。
• 实现在 GPU 内存和功耗有限的设备及网页浏览器上的部署。

提出的方法

• 将 NeRF 表示为一组带纹理的多边形，其中纹理存储二值透明度和特征向量。
• 使用标准多边形光栅化结合深度缓冲（z-buffering），高效计算每像素的特征向量，无需光线追踪或深度排序。
• 在 GLSL 片段着色器中，将光栅化后的特征向量输入一个小型、视图相关的 MLP，以预测最终像素颜色。
• 采用三阶段训练过程：使用规则网格进行初始网格优化，利用伪梯度对透明度进行精炼，最后对特征网络和颜色网络进行微调。
• 在渲染过程中应用超采样以减少混叠伪影并提升视觉质量。
• 在训练中使用加速网格剔除不可见单元，从而支持更大的批量大小并加快收敛速度。

实验结果

研究问题

• RQ1 能否使用标准图形光栅化流水线而非光线追踪来高效渲染 NeRF 表示？
• RQ2 该表示方法能否在移动设备和低端设备上实现实时性能？
• RQ3 用表面纹理替代体素纹理是否能降低内存使用量，同时保持图像质量？
• RQ4 片段着色器中的轻量级 MLP 是否能有效建模如反射等视图相关效应？
• RQ5 该方法能否通过简单的网格界面支持对 3D 场景的交互式编辑？

主要发现

• MobileNeRF 在标准测试场景中相比 SNeRG 渲染速度提升 10 倍，同时保持同等图像质量。
• 该方法通过存储表面纹理而非体素纹理，显著降低内存使用量，从而实现在集成 GPU 内存受限环境下的部署。
• 由于依赖标准图形 API，该方法可在网页浏览器及所有测试设备（包括手机）上运行。
• 超采样和视图相关的 MLP 对视觉质量影响最大，若移除则会出现明显的混叠伪影和性能下降。
• 模型支持对 3D 场景的实时交互操作，如在合成场景中弯曲树枝、移除角等操作已得到验证。
• 消融实验表明，优化网格顶点以及使用伪梯度处理透明度对高性能表现至关重要。