[논문 리뷰] Immersive Neural Graphics Primitives

Ke Li, Tim Rolff외 5명|arXiv (Cornell University)|2022. 11. 24.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 실시간으로 사진처럼 생생한 VR 렌더링을 가능하게 하는, Unity와 통합된 첫 번째 오픈소스 NeRF 기반 프레임워크인 immersive-ngp를 제시한다. DLSS 지원을 갖춘 인스턴트-NGP를 활용하여, 눈당 1280×720에서 30 fps를 달성함으로써, 낮은 지연 시간 성능을 바탕으로 다양한 실제 세계의 장면을 자유 시점으로 탐색할 수 있는 몰입형 VR 환경을 제공한다.

ABSTRACT

Neural radiance field (NeRF), in particular its extension by instant neural graphics primitives, is a novel rendering method for view synthesis that uses real-world images to build photo-realistic immersive virtual scenes. Despite its potential, research on the combination of NeRF and virtual reality (VR) remains sparse. Currently, there is no integration into typical VR systems available, and the performance and suitability of NeRF implementations for VR have not been evaluated, for instance, for different scene complexities or screen resolutions. In this paper, we present and evaluate a NeRF-based framework that is capable of rendering scenes in immersive VR allowing users to freely move their heads to explore complex real-world scenes. We evaluate our framework by benchmarking three different NeRF scenes concerning their rendering performance at different scene complexities and resolutions. Utilizing super-resolution, our approach can yield a frame rate of 30 frames per second with a resolution of 1280x720 pixels per eye. We discuss potential applications of our framework and provide an open source implementation online.

연구 동기 및 목표

• NeRF 기반 3D 장면 재구성과 몰입형 VR 간의 격차를 해소하기 위해, VR 환경에서 실시간 고해상도 렌더링을 가능하게 하기 위해.
• 장면의 복잡도와 해상도 변화에 따라 NeRF 렌더링의 성능을 평가하여, 특히 프레임 레이트와 지연 시간에 초점을 맞추기 위해.
• 스테레오 렌더링, 6자유도(DoF) 탐색, 동적 장면 조정을 지원하는 완전 통합형 오픈소스 솔루션을 제공하기 위해.
• 특수 하드웨어나 광범위한 후처리 작업 없이도, 제약 없는 2D 이미지에서 실세계 장면을 신속하게 디지털화할 수 있도록 하기 위해.

제안 방법

• 효율적인 NeRF 학습 및 추론을 위해 다중 해상도 해시 인코딩을 적용한 인스턴트-NGP 프레임워크를 변형하였다.
• VR 입력과 렌더링 간 실시간 통신을 가능하게 하기 위해, 네이티브 플러그인을 통해 Unity에 NeRF 백엔드를 통합하였다.
• 고해상도에서 시각 품질을 손상시키지 않고도 프레임 레이트를 향상시키기 위해 딥러닝 슈퍼샘플링(DLSS)을 활용하였다.
• VR HMD에서 각 눈을 위한 두 개의 고해상도 NeRF 뷰를 동시에 렌더링하여 스테레오 렌더링을 구현하였다.
• HMD 트래킹 데이터 기반의 동적 뷰 매트릭스 계산을 통해 자유 시점 탐색을 가능하게 하였다.
• 사용자 제어 및 장면 탐색 향상을 위해 수동 바운딩 박스 조정과 6-DoF 장면 조작을 제공하였다.

실험 결과

연구 질문

• RQ1 표준 게임 엔진인 Unity를 사용하여 몰입형 VR 환경에서 NeRF 기반 장면 표현을 실시간으로 효율적으로 렌더링할 수 있는가?
• RQ2 장면의 복잡도와 렌더링 해상도가 NeRF 기반 VR 렌더링에서 프레임 레이트와 지연 시간에 어떤 영향을 미치는가?
• RQ3 DLSS는 고해상도 NeRF 렌더링에서 시각 품질을 손상시키지 않고도 프레임 레이트를 얼마나 향상시킬 수 있는가?
• RQ4 NeRF 기반 VR 렌더링에서 성능 저하 요인은 무엇이며, 현재의 GPU 능력과 최적화 기법을 통해 어떻게 이를 완화할 수 있는가?
• RQ5 전통적인 3D 재구성 방법과 비교할 때, NeRF가 VR 파이프라인에 통합될 경우 속도, 품질, 사용성 측면에서 어떤 차이가 있는가?

주요 결과

• DLSS 지원 시, 눈당 최대 2560×1440 해상도에서 레고 장면에 대해 안정적인 평균 프레임 레이트 30 fps 이상을 달성하였다.
• 가장 낮은 해상도(320×240)에서 DLSS가 활성화된 경우, 30ms 이하의 프레임 타이밍과 38 fps를 초과하는 최고 성능이 관찰되었다.
• 해상도가 높아지고 장면의 복잡도가 증가함에 따라 프레임 레이트는 감소하고 프레임 타이밍은 증가하는 경향을 보였으며, 특히 중간 및 대규모 장면에서 두드러졌다.
• DLSS 지원 덕분에 중간 및 대규모 장면에서도 고해상도에서 20 fps를 확보하여 실시간 렌더링이 가능해졌다.
• 시스템은 작은, 덜 복잡한 장면에 대해 특히 낮은 지연 시간을 기반으로 실시간으로 NeRF 기반 장면을 렌더링할 수 있음을 입증하였다.
• 현재 구현에서는 네이티브 물리 상호작용이나 충돌 감지 기능이 부족하여, VR 내에서 객체 조작 및 이동 기능에 제한이 있으며, 향후 연구의 핵심 분야로 지목된다.