[논문 리뷰] PlenOctrees for Real-time Rendering of Neural Radiance Fields

Alex Yu, Ruilong Li외 4명|arXiv (Cornell University)|2021. 03. 25.

Computer Graphics and Visualization Techniques인용 수 13

한 줄 요약

이 논문은 신경 렌디언스 필드(NeRF)의 실시간 렲영을 가능하게 하는 계층적 옥트리 기반 3D 표현인 PlenOctrees를 제안한다. 이는 시야 의존적인 부피 구조에 사전에 표를 만들어 NeRF 예측값을 저장함으로써 150 FPS 이상의 성능을 달성한다. 수정된 NeRF를 사용해 시야 의존적인 외관을 위한 구면 조화 함수 계수를 예측하고 PlenOctree 구조를 최적화함으로써, 이미지 품질을 손상시키지 않은 채 실시간 성능를 달성하며, 상호작용이 가능한 6-DOF 뷰잉과 브라우저 내 렌더링을 가능하게 한다.

ABSTRACT

We introduce a method to render Neural Radiance Fields (NeRFs) in real time using PlenOctrees, an octree-based 3D representation which supports view-dependent effects. Our method can render 800x800 images at more than 150 FPS, which is over 3000 times faster than conventional NeRFs. We do so without sacrificing quality while preserving the ability of NeRFs to perform free-viewpoint rendering of scenes with arbitrary geometry and view-dependent effects. Real-time performance is achieved by pre-tabulating the NeRF into a PlenOctree. In order to preserve view-dependent effects such as specularities, we factorize the appearance via closed-form spherical basis functions. Specifically, we show that it is possible to train NeRFs to predict a spherical harmonic representation of radiance, removing the viewing direction as an input to the neural network. Furthermore, we show that PlenOctrees can be directly optimized to further minimize the reconstruction loss, which leads to equal or better quality compared to competing methods. Moreover, this octree optimization step can be used to reduce the training time, as we no longer need to wait for the NeRF training to converge fully. Our real-time neural rendering approach may potentially enable new applications such as 6-DOF industrial and product visualizations, as well as next generation AR/VR systems. PlenOctrees are amenable to in-browser rendering as well; please visit the project page for the interactive online demo, as well as video and code: https://alexyu.net/plenoctrees

연구 동기 및 목표

• 실시간 상호작용 애플리케이션을 제한하는 느린 NeRF 렌더링의 핵심적 성능 저하 문제를 해결하기 위해.
• 반사광과 같은 시야 의존적 효과를 실시간 렌더링 파이프라인에서 유지하기 위해.
• NeRF 학습을 가속화하기 위해 PlenOctree 표현으로의 조기 전환을 가능하게 하기 위해.
• 소비자 하드웨어에서 고사실감 렌더링을 가능하게 하고, 브라우저 내 배포까지 지원하는 상호작용이 가능한 6-DOF 렌더링을 실현하기 위해.
• 기존 NeRF와 비교해 품질 손실를 최소화하면서도 고해상도 렌더링을 달성하기 위해.

제안 방법

• 이 방법은 각 리프 노드가 시야 의존적 레디언스를 위한 밀도와 구면 조화 함수(SH) 계수를 저장하는 희소하고 계층적인 옥트리 구조인 PlenOctrees를 도입한다.
• 원래의 RGB 값을 예측하는 대신 SH 계수를 예측하도록 수정된 NeRF 네트워크를 훈련시켜 PlenOctree에 효율적인 표로 변환할 수 있도록 한다.
• 렌더링 중에 임의의 시야 방향에서 SH 함수를 평가함으로써 시야 의존적 외관을 모델링한다.
• 다양한 렌더링 기반 최적화를 통해 PlenOctree 구조를 종합적으로 최적화함으로써, 원래 NeRF를 초월한 복원 품질 향상을 달성한다.
• NeRF 학습을 조기에 중단하고 PlenOctree 최적화로 전환함으로써 학습을 가속화하며, 비용이 많이 드는 신경망 추론을 피한다.
• 웹GL 호환성 있는 프래그먼트 색채러 구현을 통해 소비자용 랩탑에서도 실시간으로 PlenOctree를 브라우저 내에서 렌더링할 수 있도록 한다.

Figure 1: Real-time NeRF with PlenOctrees. Given a set of posed images of a scene, our method creates a 3D volumetric model that can be rendered in real-time. We propose PlenOctrees, which are octrees that can capture view-dependent dependent effects such as specularities. Rendering using our approa

실험 결과

연구 질문

• RQ1 반사광과 같은 시야 의존적 효과를 유지하면서도 NeRF를 실시간으로 렌더링할 수 있는가?
• RQ2 PlenOctree와 같은 계층적 부피 표현 방식이 기존 NeRF와 비교해 고속 렌더링과 고화질을 동시에 달성할 수 있는가?
• RQ3 NeRF 예측값을 PlenOctree에 사전 표로 만들면 전체 NeRF 학습보다 더 빠른 학습 및 수렴을 달성할 수 있는가?
• RQ4 PlenOctrees는 상호작용이 가능한 6-DOF 시나리오 탐색과 브라우저 내 렌더링에 효과적으로 활용될 수 있는가?
• RQ5 외관 모델링을 위한 기저로 구면 조화 함수를 사용함으로써, PlenOctree에서 정확하고 효율적이며 미분 가능한 시야 의존적 렌더링을 달성할 수 있는가?

주요 결과

• V100 GPU에서 800×800 해상도 이미지의 경우 167.68 FPS를 달성하여 기존 NeRF보다 3000배 빠른 성능 향상을 보였다.
• 기준 데이터셋에서의 정량적 및 정성적 비교를 통해 PlenOctrees는 원래 NeRF와 동일하거나 더 높은 이미지 품질을 생성함을 확인했다.
• NeRF-SH 모델을 PlenOctree로 조기 전환하고 최적화를 수행함으로써 실제 학습 시간을 단축시켰다: 4.5시간의 PlenOctree 최적화가 16시간의 전체 NeRF 학습과 동일한 품질을 달성했다.
• 브라우저 내 WebGL 렌더러는 소비자용 랩탑에서도 실시간 6-DOF 상호작용을 가능하게 하여 실질적인 배포 잠재력을 입증했다.
• 압축되지 않은 평균 PlenOctree 크기는 합성 시나리오 기준 1.93 GB, Tanks and Temples 기준 3.53 GB이며, 압축된 버전은 온라인 배포에 적합한 30–120 MB 수준으로 작아졌다.
• 실제 시나리오와 전방향 시나리오에서도 합리적인 성능를 보였지만, 무한대나 매우 전방향적인 시나리오에는 최적화되어 있지 않으며, 이 경우 MPIs가 더 적합할 수 있다.

Figure 2: Method Overview. We propose a method to quickly render NeRFs by training a modified NeRF model (NeRF-SH) and converting it into a PlenOctree, an octree that captures view-dependent effects. a) The NeRF-SH model uses the same optimization procedure and volume rendering method presented in N