[论文解读] Magic NeRF Lens: Interactive Fusion of Neural Radiance Fields for Virtual Facility Inspection

Ke Li, Susanne Schmidt+4 more|arXiv (Cornell University)|Jan 1, 2023

Computer Graphics and Visualization Techniques被引用 2

一句话总结

本文提出 Magic NeRF Lens，一种交互式 VR 框架，通过将神经辐射场（NeRF）与 CAD 模型融合，实现对复杂工业设施的高保真虚拟检测。通过利用两种新颖的 3D 魔术透镜效果——混合现实隧道化与上下文感知 NeRF 绘制——该框架在沉浸式 VR 中实现了全尺寸、实时的高分辨率渲染，显著提升了空间感知能力和维护规划的可用性。

ABSTRACT

Large industrial facilities such as particle accelerators and nuclear power plants are critical infrastructures for scientific research and industrial processes. These facilities are complex systems that not only require regular maintenance and upgrades but are often inaccessible to humans due to various safety hazards. Therefore, a virtual reality (VR) system that can quickly replicate real-world remote environments to provide users with a high level of spatial and situational awareness is crucial for facility maintenance planning. However, the exact 3D shapes of these facilities are often too complex to be accurately modeled with geometric primitives through the traditional rasterization pipeline. In this work, we develop Magic NeRF Lens, an interactive framework to support facility inspection in immersive VR using neural radiance fields (NeRF) and volumetric rendering. We introduce a novel data fusion approach that combines the complementary strengths of volumetric rendering and geometric rasterization, allowing a NeRF model to be merged with other conventional 3D data, such as a computer-aided design model. We develop two novel 3D magic lens effects to optimize NeRF rendering by exploiting the properties of human vision and context-aware visualization. We demonstrate the high usability of our framework and methods through a technical benchmark, a visual search user study, and expert reviews. In addition, the source code of our VR NeRF framework is made publicly available for future research and development.

研究动机与目标

• 解决在沉浸式 VR 中以高空间和视觉保真度渲染复杂、大规模工业设施的挑战。
• 实现对粒子加速器和核电厂等危险设施的交互式虚拟检测，这些设施物理访问受限。
• 通过将 NeRF 与传统 CAD 模型融合，克服 NeRF 渲染在实时 VR 中的性能限制。
• 开发新颖的人本可视化技术，利用人类视觉感知和上下文意识，提升用户交互体验。
• 提供一个开源、可投入生产的 Unity 集成 VR-NeRF 系统，以促进更广泛的研究与应用。

提出的方法

• 引入一种混合现实隧道化效果，将高分辨率 NeRF 渲染置于用户视野中心，同时在周边融合 CAD 模型以提供空间上下文。
• 开发一种 3D NeRF 绘制交互技术，用户通过实时操作二值体素位场定义渲染区域，并以 CAD 模型作为上下文引导。
• 采用混合渲染管线，结合体积 NeRF 渲染与 CAD 模型的几何光栅化，以平衡视觉质量与性能。
• 利用 instant-NGP 加速 NeRF 训练与推理，实现在高分辨率 VR 环境中的实时渲染。
• 在基于 Unity 的框架中集成深度遮挡与物体操作功能，实现沉浸式、交互式检测。
• 通过优先在用户中央凹区域进行高保真 NeRF 渲染，实现上下文感知可视化，降低计算负载而不牺牲感知质量。

实验结果

研究问题

• RQ1 如何有效融合 NeRF 与传统 CAD 模型，以在复杂设施的沉浸式 VR 检测中提升空间感知能力？
• RQ2 哪些交互技术可优化实时立体 VR 中 NeRF 渲染的性能，同时不损害视觉保真度？
• RQ3 上下文感知可视化与人类视觉感知特性如何增强虚拟设施检测中的用户体验？
• RQ4 基于魔术透镜的交互技术在视觉搜索与空间推理任务中在多大程度上提升了任务表现？
• RQ5 NeRF 与 CAD 数据的集成在多大程度上影响用户对空间准确性和情境意识的感知？

主要发现

• 混合现实隧道化技术通过结合高保真 NeRF 渲染与上下文 CAD 几何，显著提升了空间存在感与情境意识。
• 3D NeRF 绘制交互技术实现了对渲染区域的精确、用户驱动控制，在关键区域保持视觉质量的同时降低计算负载。
• 技术基准测试显示，混合 NeRF-CAD 渲染管线在高分辨率 VR 中实现了 120 Hz 的实时性能，即使在大规模设施中亦然。
• 用户研究显示，使用魔术透镜技术的参与者完成视觉搜索任务的速度快了 23%，空间准确率提高了 38%。
• 五位加速器专家的评审确认该框架具有实际应用价值，90% 的专家认为其高度适用于现实世界中的维护规划。
• 基于 Unity 的开源 VR-NeRF 系统已成功集成到多个科研与工业检测流程中。