[论文解读] MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes

Christian Reiser, Richard Szeliski+6 more|arXiv (Cornell University)|Feb 23, 2023

Advanced Vision and Imaging被引用 4

一句话总结

MERF 引入了一种内存高效的辐射场表示方法，可在网络浏览器中直接实现大规模、无界场景的实时、逼真视图合成。通过结合稀疏 3D 特征网格与高分辨率 2D 特征平面，并采用一种新颖的无界空间收缩函数，MERF 在保持高图像质量的同时，实现了比以往实时方法更快的渲染速度和 5 倍更低的内存占用，其关键在于从优化后的神经表示中通过无损烘焙过程实现。

ABSTRACT

Neural radiance fields enable state-of-the-art photorealistic view synthesis. However, existing radiance field representations are either too compute-intensive for real-time rendering or require too much memory to scale to large scenes. We present a Memory-Efficient Radiance Field (MERF) representation that achieves real-time rendering of large-scale scenes in a browser. MERF reduces the memory consumption of prior sparse volumetric radiance fields using a combination of a sparse feature grid and high-resolution 2D feature planes. To support large-scale unbounded scenes, we introduce a novel contraction function that maps scene coordinates into a bounded volume while still allowing for efficient ray-box intersection. We design a lossless procedure for baking the parameterization used during training into a model that achieves real-time rendering while still preserving the photorealistic view synthesis quality of a volumetric radiance field.

研究动机与目标

• 通过最小内存消耗，实现实时、逼真地合成大规模、无界场景的视图。
• 解决神经辐射场中内存效率与渲染速度之间的权衡问题。
• 支持在资源受限环境（如网络浏览器和移动设备）中的实际部署。
• 通过无损烘焙过程，在从优化阶段过渡到实时推理时保持高渲染质量。
• 通过一种新颖的收缩函数，将体素辐射场扩展至无界场景，同时保持光线-包围盒相交计算的效率。

提出的方法

• 该方法采用混合参数化方式，结合低分辨率 3D 稀疏特征网格与高分辨率 2D 特征平面，以降低内存消耗。
• 提出一种新颖的收缩函数，将无界场景坐标映射到有界体积内，同时保持直线几何特性，以实现高效的光线-包围盒相交测试。
• 在优化阶段，模型使用 NGP 哈希网格实现可微分的稀疏化与基于梯度的训练。
• 优化完成后，表示被无损烘焙为二值占用网格与一组 2D 特征平面，以实现快速推理。
• 烘焙后的模型采用视图相关 MLP 进行外观建模，兼容网络环境中的实时渲染。
• 整个流程确保最终烘焙模型与优化模型所表示的底层辐射场完全一致，从而保持图像质量。

Figure 1 . Our method, MERF , allows for real-time view synthesis in the browser (framerates shown here are measured on a Macbook Pro M1). We design a volumetric scene representation that is first optimized to maximize rendering quality and then losslessly baked into a more efficient format for fast

实验结果

研究问题

• RQ1 是否可以设计一种神经辐射场表示，使其在内存效率与无界场景的实时渲染之间达到平衡？
• RQ2 如何在不牺牲实时推理阶段渲染质量的前提下，对体素表示进行压缩？
• RQ3 能否设计一种收缩函数，将无界坐标映射到有界空间，同时保持光线追踪中的几何保真度？
• RQ4 高质量、已优化的辐射场在多大程度上可无损转换为更快速、更紧凑的形式以用于部署？
• RQ5 在相同内存预算下，该方法与现有实时 NeRF 变体相比，在速度、内存使用和图像质量方面表现如何？

主要发现

• 在 M1 Mac mini 上，MERF 在 1280×720 分辨率下达到 28.3 FPS，图像质量优于 SNeRG++（18.7 FPS）和 MobileNeRF（65.7 FPS），且仅使用 524 MB VRAM。
• MERF 将内存消耗降低至 524 MB VRAM，不足 SNeRG++ 的五分之一（4571 MB），同时在 PSNR 和 SSIM 指标上保持或超越其表现。
• 在 RTX 3090 GPU 上，1920×1080 分辨率下，MERF 达到 119 FPS，显著优于 Instant-NGP 的 4 FPS。
• 在室外场景中，MERF 的 PSNR 相比 MobileNeRF 提升 31.6%（以 MSE 衡量），尽管 GPU 内存使用不足其一半。
• 无损烘焙过程保持了渲染质量，优化模型与烘焙模型之间的 PSNR 差异仅为 0.01（23.20 vs. 23.19）。
• 所提出的收缩函数在图像质量上与球形收缩函数相当（PSNR 23.22 vs. 23.20），同时实现了更快的光线-AABB 相交测试速度。

Figure 2 . Our scene representation. For a location $\mathbf{x}$ along a ray: (1) We query its eight neighbors on a low-resolution 3D grid; and we project it onto each of the three axis-aligned planes, and then query each projection’s four neighbors on a high-resolution 2D grid. (2) The eight low-re