[논문 리뷰] RT-NeRF: Real-Time On-Device Neural Radiance Fields Towards Immersive AR/VR Rendering

Chaojian Li, Sixu Li외 3명|arXiv (Cornell University)|2022. 12. 02.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

RT-NeRF는 AR/VR에서 실시간 온디바이스 신경형광장면(NeRF) 렌더링을 위한 최초의 알고리즘-하드웨어 공동 설계 프레임워크를 제안한다. 기존 점과 임bedding의 희소성에 기반해 하이브리드 인코딩 방식과 특화된 하드웨어 유닛을 활용함으로써, 최고성능 기술 대비 최대 3,201배의 속도 향상과 4,002배의 에너지 효율성 향상을 달성하면서도 높은 렌더링 품질을 유지한다.

ABSTRACT

Neural Radiance Field (NeRF) based rendering has attracted growing attention thanks to its state-of-the-art (SOTA) rendering quality and wide applications in Augmented and Virtual Reality (AR/VR). However, immersive real-time (> 30 FPS) NeRF based rendering enabled interactions are still limited due to the low achievable throughput on AR/VR devices. To this end, we first profile SOTA efficient NeRF algorithms on commercial devices and identify two primary causes of the aforementioned inefficiency: (1) the uniform point sampling and (2) the dense accesses and computations of the required embeddings in NeRF. Furthermore, we propose RT-NeRF, which to the best of our knowledge is the first algorithm-hardware co-design acceleration of NeRF. Specifically, on the algorithm level, RT-NeRF integrates an efficient rendering pipeline for largely alleviating the inefficiency due to the commonly adopted uniform point sampling method in NeRF by directly computing the geometry of pre-existing points. Additionally, RT-NeRF leverages a coarse-grained view-dependent computing ordering scheme for eliminating the (unnecessary) processing of invisible points. On the hardware level, our proposed RT-NeRF accelerator (1) adopts a hybrid encoding scheme to adaptively switch between a bitmap- or coordinate-based sparsity encoding format for NeRF's sparse embeddings, aiming to maximize the storage savings and thus reduce the required DRAM accesses while supporting efficient NeRF decoding; and (2) integrates both a dual-purpose bi-direction adder & search tree and a high-density sparse search unit to coordinate the two aforementioned encoding formats. Extensive experiments on eight datasets consistently validate the effectiveness of RT-NeRF, achieving a large throughput improvement (e.g., 9.7x - 3,201x) while maintaining the rendering quality as compared with SOTA efficient NeRF solutions.

연구 동기 및 목표

• 상용 AR/VR 기기에서 NeRF 기반 시스템의 낮은 렌더링 스루풋이라는 핵심적 제약을 해결하기 위해.
• 최고성능 기술에서의 비효율성의 주요 원인으로 균일한 점 샘플링과 고밀도 임베딩 계산이 있음을 규명하기 위해.
• 통합된 알고리즘 및 하드웨어 혁신을 통해 실시간(30+ FPS) 온디바이스 NeRF 렌더링을 가능하게 하기 위해.
• 희소 NeRF 임베딩을 효율적으로 복호화하기 위해 적응형 인코딩 형식을 사용하는 하드웨어 가속기와 공동 설계하기 위해.
• 지연 시간과 에너지 소비를 극적으로 줄이면서도 고해상도 렌더링 품질(PSNR)을 유지하기 위해.

제안 방법

• 균일한 점 샘플링을 피하기 위해 점유도 격자 내의 비영점 큐브에서 직접 기하학적 정보를 계산하는 효율적인 렌더링 파이프라인을 도입한다.
• 보이는 점이 아닌 점들을 건너뛰기 위해 시야 의존적 렌더링 순서를 조절하는 거시적 순서를 적용한다.
• 임베딩의 희소성에 따라(낮음 vs. 높음) 동적으로 비트맵 형식과 좌표 기반 형식을 전환하는 하이브리드 인코딩 방식을 설계한다.
• 비트맵 형식과 좌표 기반 형식 간의 효율적 조율을 위해 이중 기능을 갖춘 이중 방향 덧셈기 및 검색 트리를 개발한다.
• 희소 복호화 작업 중의 계산 공백을 최소화하기 위해 고밀도 희소 검색 유닛을 통합한다.
• 기존 점과 격자 임베딩 양쪽에서의 희소성 특성을 동시에 활용하기 위해 알고리즘과 하드웨어를 공동 설계한다.

실험 결과

연구 질문

• RQ1 상용 AR/VR 기기에서 배포된 최고성능 기술 기반의 효율적 NeRF 알고리즘에서 주요 성능 저하 요인은 무엇인가?
• RQ2 기존 점과 임베딩의 희소성을 알고리즘 최적화에서 어떻게 활용하여 렌더링 지연 시간을 줄일 수 있는가?
• RQ3 알고리즘과 함께 공동 설계된 하드웨어 가속기가 온디바이스 NeRF 렌더링의 스루풋과 에너지 효율성을 극대화할 수 있는가?
• RQ4 얼마나 많은 정도의 알고리즘-하드웨어 공동 설계가 엣지 기기에서 실시간(30+ FPS) NeRF 추론을 달성하면서도 최고성능 렌더링 품질을 유지할 수 있는가?
• RQ5 하이브리드 인코딩 방식은 임베딩 희소성 비율이 4%에서 92%에 이르는 다양한 범위에서 저장 공간 절감과 복호화 효율성 간의 적절한 균형을 어떻게 적응적으로 유지하는가?

주요 결과

• RT-NeRF는 8개의 Synthetic-NeRF 데이터셋에서 기준 엣지 기기(Jetson Nano 등) 대비 최대 3,201배의 속도 향상과 4,002배의 에너지 효율성 향상을 달성한다.
• 고성능 GPU인 NVIDIA 2080Ti에서 RT-NeRF는 동일한 알고리즘이 GPU에서 실행될 때 대비 24배의 속도 향상을 기록하여 하드웨어 가속 효과를 입증한다.
• 알고리즘이 고해상도 렌더링 품질을 유지하며, 8개 데이터셋 평균 PSNR가 31.79로, 최고성능 기술인 TensoRF 대비 뿐만 아니라 0.21 뿐만 아니라 높은 품질을 유지를 확인한다.
• 하이브리드 인코딩 방식은 임베딩 희소성 비율이 4%에서 92%에 이르는 범위에서 DRAM 액세스 횟수를 효과적으로 줄인다.
• 이중 기능을 갖춘 이중 방향 덧셈기 및 검색 트리 유닛은 비트맵 형식과 좌표 기반 형식 간의 효율적 조율을 가능하게 하여 복호화 지연 시간을 감소시킨다.
• 거시적 시야 의존적 렌더링 순서는 보이지 않는 점에 대한 불필요한 계산을 줄여 전체적인 효율성 향상에 기여한다.