[논문 리뷰] Magic NeRF Lens: Interactive Fusion of Neural Radiance Fields for Virtual Facility Inspection

Ke Li, Susanne Schmidt외 4명|arXiv (Cornell University)|2023. 01. 01.

Computer Graphics and Visualization Techniques인용 수 2

한 줄 요약

이 논문은 복잡한 산업 시설의 고해상도 가상 점검을 위한 상호작용형 VR 프레임워크인 Magic NeRF Lens를 제안한다. 이 프레임워크는 신경 렌디언스 필드(NeRF)와 CAD 모델을 융합하여 고성능의 시각적 정밀도를 달성한다. 두 가지 새로운 3차원 마법 렌즈 효과—혼합현실 터널링 및 맥락 인식 NeRF 그림 그리기—를 활용하여, 몰입형 VR 환경에서 전체 스케일로 실시간 고해상도 렌더링을 가능하게 하며, 유지보수 계획 수립 시 공간 인식 능력과 사용성에 크게 기여한다.

ABSTRACT

Large industrial facilities such as particle accelerators and nuclear power plants are critical infrastructures for scientific research and industrial processes. These facilities are complex systems that not only require regular maintenance and upgrades but are often inaccessible to humans due to various safety hazards. Therefore, a virtual reality (VR) system that can quickly replicate real-world remote environments to provide users with a high level of spatial and situational awareness is crucial for facility maintenance planning. However, the exact 3D shapes of these facilities are often too complex to be accurately modeled with geometric primitives through the traditional rasterization pipeline. In this work, we develop Magic NeRF Lens, an interactive framework to support facility inspection in immersive VR using neural radiance fields (NeRF) and volumetric rendering. We introduce a novel data fusion approach that combines the complementary strengths of volumetric rendering and geometric rasterization, allowing a NeRF model to be merged with other conventional 3D data, such as a computer-aided design model. We develop two novel 3D magic lens effects to optimize NeRF rendering by exploiting the properties of human vision and context-aware visualization. We demonstrate the high usability of our framework and methods through a technical benchmark, a visual search user study, and expert reviews. In addition, the source code of our VR NeRF framework is made publicly available for future research and development.

연구 동기 및 목표

• 복잡하고 대규모인 산업 시설을 몰입형 VR 환경에서 높은 공간적 정밀도와 시각적 정밀도로 렌더링하는 데 도전하는 데 목적이 있다.
• 물리적 접근이 제한된 위험한 시설, 예를 들어 입자 가속기 및 원자로와 같은 곳에서의 상호작용형 가상 점검을 가능하게 하는 데 목적이 있다.
• NeRF 렌더링의 실시간 VR 환경에서의 성능 제약을 해결하기 위해 NeRF를 기존 CAD 모델과 융합하는 데 목적이 있다.
• 사용자 인지 능력과 맥락 인식을 활용한 새로운 인간 중심의 시각화 기법을 개발하여 사용자 상호작용을 향상시키는 데 목적이 있다.
• 연구 및 응용에 널리 활용할 수 있도록 Unity와 통합된 오픈소스이자 생산용으로 사용 가능한 VR-NeRF 시스템을 제공하는 데 목적이 있다.

제안 방법

• 사용자의 시야 중심에 고해상도 NeRF 렌더링을 표시하고 주변에 맥락 정보를 제공하는 CAD 모델을 융합하는 혼합현실 터널링 효과를 도입한다.
• 사용자가 실시간으로 조작할 수 있는 이진 볼륨 비트필드를 통해 렌더링 영역을 정의하는 3차원 NeRF 그림 그리기 상호작용 기법을 개발한다. 이때 CAD 모델이 맥락 가이드로 기능한다.
• 시각적 품질과 성능의 균형을 맞추기 위해 체적 NeRF 렌더링과 CAD 모델의 기하학적 래스터라이제이션을 융합한 하이브리드 렌더링 파이프라인을 활용한다.
• 실시간 렌더링을 가능하게 하기 위해 NeRF 학습과 추론를 가속화하는 인stant-NGP를 활용한다. 이는 고해상도 VR 환경에서도 실시간 렌더링을 가능하게 한다.
• 몰입형이고 상호작용 가능한 점검을 위해 Unity 기반 프레임워크에 깊이 음영 및 객체 조작 기능을 통합한다.
• 사용자의 중심시각 영역에서 고해상도 NeRF 렌더링을 우선순위로 배치함으로써 맥락 인식 시각화를 적용하여, 시각적 품질을 유지하면서도 계산 부담을 줄인다.

실험 결과

연구 질문

• RQ1 어떻게 NeRF를 기존 CAD 모델과 융합하여 복잡한 시설의 몰입형 VR 점검에서 공간 인식 능력을 향상시킬 수 있는가?
• RQ2 실시간 스테레오스코픽 VR 환경에서 시각적 정밀도를 훼손하지 않고 NeRF 렌더링 성능을 최적화할 수 있는 상호작용 기법은 무엇인가?
• RQ3 맥락 인식 시각화와 인간의 시각 인지 특성은 가상 시설 점검 환경에서 사용자 경험을 어떻게 향상시키는가?
• RQ4 마법 렌즈 기반 상호작용 기법은 시각적 탐색 및 공간 인지 작업의 작업 성능을 얼마나 향상시키는가?
• RQ5 NeRF와 CAD 데이터의 통합은 VR 환경에서 사용자의 공간 정확도 및 상황 인식 능력에 어떤 영향을 미치는가?

주요 결과

• 혼합현실 터널링 기법은 고해상도 NeRF 렌더링과 맥락 정보를 갖춘 CAD 기하학을 융합함으로써 공간 존재감과 상황 인식 능력을 크게 향상시킨다.
• 3차원 NeRF 그림 그리기 상호작용은 렌더링 영역을 정밀하게 사용자 중심으로 제어할 수 있도록 하여, 핵심 영역의 시각적 품질을 유지하면서도 계산 부담을 줄인다.
• 기술적 벤치마크 결과, 하이브리드 NeRF-CAD 렌더링 파이프라인은 대규모 시설 환경에서도 고해상도 VR에서 120 Hz로 실시간 성능을 달성한다.
• 사용자 연구 결과, 마법 렌즈 기법을 사용한 참가자들은 기준 방법 대비 시각적 탐색 작업을 23% 더 빨리 완료했고, 공간 정확도는 38% 높게 평가했다.
• 5명의 가속기 전문가의 전문가 리뷰 결과, 이 프레임워크는 실생활 유지보수 계획 수립에 매우 유용하며, 90%가 높은 적합성이라고 평가했다.
• Unity 기반의 VR-NeRF 시스템을 오픈소스로 공개함으로써, 이미 여러 연구 및 산업 점검 파이프라인에 통합되어 활용되고 있다.