[논문 리뷰] NerfAcc: A General NeRF Acceleration Toolbox

Ruilong Li, Matthew Tancik외 1명|arXiv (Cornell University)|2022. 10. 10.

Computer Graphics and Visualization Techniques인용 수 20

한 줄 요약

NerfAcc는 NeRF를 위한 볼륨 렌더링을 가속화하는 PyTorch 기반 도구상자이며, 경계가 있는, 동적, 그리고 무한한 장면에 대해 plug-and-play 통합을 지원합니다. 원래 방식들에 비해 상당한 속도 향상을 달성하고, 학습이 수분에서 수 시간 이내에 가능하게 합니다.

ABSTRACT

We propose NerfAcc, a toolbox for efficient volumetric rendering of radiance fields. We build on the techniques proposed in Instant-NGP, and extend these techniques to not only support bounded static scenes, but also for dynamic scenes and unbounded scenes. NerfAcc comes with a user-friendly Python API, and is ready for plug-and-play acceleration of most NeRFs. Various examples are provided to show how to use this toolbox. Code can be found here: https://github.com/KAIR-BAIR/nerfacc. Note this write-up matches with NerfAcc v0.3.5. For the latest features in NerfAcc, please check out our more recent write-up at arXiv:2305.04966

연구 동기 및 목표

• NeRF를 위한 일반적이고 사용하기 쉬운 가속 도구상자를 제공합니다.
• 경계가 있는, 동적이며 무한한 장면에 효율적인 볼륨 렌더링 기술을 확장합니다.
• 기존 NeRF 모델과의 plug-and-play 통합을 위한 Python API를 제공합니다.

제안 방법

• 빠른 광선 행진(ray marching) 및 렌더링을 위해 Instant-NGP 기술을 기반으로 구축합니다.
• 레이 마칭 중 비어 있거나 차폐된 영역을 제거하기 위해 Occupancy Grid를 도입합니다.
• 무한한 장면을 다루기 위해 장면 수축(Scene contraction, Mip-NeRF 360 스타일)을 적용합니다.
• 사용자가 정의한 radiance field와 함께 작동할 수 있는 미분 가능 렌더링을 제공합니다.
• 통합을 위한 최소한의 두 함수 플러그인(sigma_fn, rgb_sigma_fn)을 제공합니다.
• Vanilla NeRF, Instant-NGP, D-NeRF 및 무한대 데이터셋에서 상당한 학습 시간 감소를 입증합니다.

실험 결과

연구 질문

• RQ1 일반적인 Python 기반 도구상자가 모델 재구축 없이도 다양한 NeRF 표현(정적, 동적, 무한한)을 가속화할 수 있을까?
• RQ2 NerfAcc를 사용하여 표준 NeRF, Instant-NGP, D-NeRF, 및 Mip-NeRF 360 설정에서 얼마나 많은 속도 향상과 품질 이득이 달성될 수 있을까?
• RQ3 다양한 장면 유형에서 효율적인 ray marching과 differentiable rendering을 위한 효과적인 전략은 무엇인가?

주요 결과

• NerfAcc는 NeRF-Synthetic에서 vanilla NeRF 학습을 약 1시간에 가능하게 하며, 원 논문에서는 며칠이 걸렸다.
• NerfAcc를 사용하면 Instant-NGP NeRF도 약 4.5분 정도에 유사한 품질에 도달할 수 있다.
• D-NeRF 성능은 여러 장면에서 더 높은 PSNR으로 약 1시간 정도로 향상된다.
• 무한한 장면(Mip-NeRF 360)은 대략 20분 정도에 학습될 수 있으며 경쟁력 있는 PSNR을 보인다.
• 이 도구상자는 정적, 동적 및 무한대 NeRF 변형 전반에 걸쳐 빠른 학습과 품질 향상을 지원합니다.