[论文解读] Immersive Neural Graphics Primitives

Ke Li, Tim Rolff+5 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Vision and Imaging被引用 7

一句话总结

本论文提出 immersive-ngp，这是首个集成至 Unity 的基于 NeRF 的开源框架，可实现实时、逼真的 VR 渲染。通过结合 instant-NGP 与 DLSS 支持，其在每只眼睛 1280×720 分辨率下实现 30 fps，支持在低延迟性能下自由视角探索复杂的真实世界场景。

ABSTRACT

Neural radiance field (NeRF), in particular its extension by instant neural graphics primitives, is a novel rendering method for view synthesis that uses real-world images to build photo-realistic immersive virtual scenes. Despite its potential, research on the combination of NeRF and virtual reality (VR) remains sparse. Currently, there is no integration into typical VR systems available, and the performance and suitability of NeRF implementations for VR have not been evaluated, for instance, for different scene complexities or screen resolutions. In this paper, we present and evaluate a NeRF-based framework that is capable of rendering scenes in immersive VR allowing users to freely move their heads to explore complex real-world scenes. We evaluate our framework by benchmarking three different NeRF scenes concerning their rendering performance at different scene complexities and resolutions. Utilizing super-resolution, our approach can yield a frame rate of 30 frames per second with a resolution of 1280x720 pixels per eye. We discuss potential applications of our framework and provide an open source implementation online.

研究动机与目标

• 通过在 VR 环境中实现实时、高保真渲染，弥合基于 NeRF 的 3D 场景重建与沉浸式 VR 之间的差距。
• 评估在不同场景复杂度与分辨率下，NeRF 渲染在 VR 中的性能表现，尤其关注帧率与延迟。
• 提供一个完全集成的开源解决方案，支持立体渲染、六自由度（DoF）导航以及在 Unity 中的动态场景调整。
• 实现仅通过非受限的 2D 图像快速数字化真实世界场景，无需专用硬件或大量后期处理。

提出的方法

• 采用 multi-resolution hash encoding 对 instant-NGP 框架进行改进，以实现高效的 NeRF 训练与推理。
• 通过本机插件将 NeRF 后端集成至 Unity，实现 VR 输入与渲染之间的实时通信。
• 利用深度学习超采样（DLSS）技术，在不牺牲画质的前提下提升高分辨率下的帧率。
• 通过同时为 VR HMD 中每只眼睛渲染两个高分辨率 NeRF 视图，实现立体渲染。
• 基于 HMD 跟踪数据动态计算视图矩阵，实现自由视角探索。
• 提供手动边界框调整与 6-DoF 场景操作功能，以增强用户控制力与场景探索体验。

实验结果

研究问题

• RQ1 能否在标准游戏引擎（如 Unity）中，通过高效方式实现实时渲染基于 NeRF 的场景表示，以支持沉浸式 VR 环境？
• RQ2 场景复杂度与渲染分辨率如何影响基于 NeRF 的 VR 渲染中的帧率与延迟？
• RQ3 在不损害画质的前提下，DLSS 能在多大程度上提升高分辨率 NeRF 渲染在 VR 中的帧率？
• RQ4 基于 NeRF 的 VR 渲染中存在哪些性能瓶颈？当前 GPU 能力与优化技术如何缓解这些问题？
• RQ5 与传统 3D 重建方法相比，NeRF 集成至 VR 工作流在速度、画质与可用性方面表现如何？

主要发现

• 在每只眼睛最高达 2560×1440 分辨率下，该框架在乐高场景中实现了稳定平均帧率超过 30 fps，且支持 DLSS。
• 在最低分辨率（320×240）下，当启用 DLSS 时，帧时间低于 30 ms，帧率超过 38 fps，性能表现最佳。
• 随着分辨率提升与场景复杂度增加，帧率下降，帧时间延长，尤其在中等与大型场景中更为明显。
• DLSS 支持显著提升了性能，使中等与大型场景在高分辨率下实现 20 fps，使实时渲染成为可能。
• 系统表明，基于 NeRF 的场景可在 VR 中实现低延迟的实时渲染，尤其适用于较小且复杂度较低的场景。
• 当前实现缺乏原生物理交互或碰撞检测功能，限制了 VR 中的对象操作与移动方式，凸显了未来工作的重要方向。