[논문 리뷰] VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field

Naruya Kondo, Yuya Ikeda외 4명|arXiv (Cornell University)|2021. 11. 25.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

VaxNeRF는 이산화된 3D 재구성 기법인 시각적 하울(visual hull)을 통합하여 신경 렌더링 필드(NeRF)의 속도를 높인다. 이는 각 이미지의 이진 전경-배경 마스크만을 사용하여 거친 바이트 볼륨을 정의함으로써 불필요한 NeRF 네트워크 평가를 크게 줄인다. 이는 단순한 JaxNeRF에 대한 약 30줄의 코드 확장으로 이루어지며, 품질 저하 없이 2–8배 빠른 학습을 달성하며, 256개 TPU 코어에서 전체 NeRF 학습을 수시간에서 약 30분으로 단축시킨다.

ABSTRACT

Neural Radiance Field (NeRF) is a popular method in data-driven 3D reconstruction. Given its simplicity and high quality rendering, many NeRF applications are being developed. However, NeRF's big limitation is its slow speed. Many attempts are made to speeding up NeRF training and inference, including intricate code-level optimization and caching, use of sophisticated data structures, and amortization through multi-task and meta learning. In this work, we revisit the basic building blocks of NeRF through the lens of classic techniques before NeRF. We propose Voxel-Accelearated NeRF (VaxNeRF), integrating NeRF with visual hull, a classic 3D reconstruction technique only requiring binary foreground-background pixel labels per image. Visual hull, which can be optimized in about 10 seconds, can provide coarse in-out field separation to omit substantial amounts of network evaluations in NeRF. We provide a clean fully-pythonic, JAX-based implementation on the popular JaxNeRF codebase, consisting of only about 30 lines of code changes and a modular visual hull subroutine, and achieve about 2-8x faster learning on top of the highly-performative JaxNeRF baseline with zero degradation in rendering quality. With sufficient compute, this effectively brings down full NeRF training from hours to 30 minutes. We hope VaxNeRF -- a careful combination of a classic technique with a deep method (that arguably replaced it) -- can empower and accelerate new NeRF extensions and applications, with its simplicity, portability, and reliable performance gains. Codes are available at https://github.com/naruya/VaxNeRF .

연구 동기 및 목표

• 3D 재구성 응용 분야에서 주요 장애물인 NeRF의 느린 학습 속도를 해결하기 위해.
• 시각적 하울과 같은 고전적인 3D 재구성 기법이 현대 딥러닝 기법인 NeRF와 효과적으로 조합될 수 있는지 조사하기 위해.
• 복잡한 아키텍처 변경 없이도 경량이며 이식 가능하고 고성능인 NeRF 가속화 방법을 개발하기 위해.
• 특히 볼록하지 않은 형태나 투명성이 있는 어려운 시나리오에서도 렌더링 품질을 희생시키지 않은 채 상당한 속도 향상을 달성하기 위해.
• 고전적 기법과 현대적 기법을 융합함으로써 최신 최적화된 NeRF 변종보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 각 이미지의 이진 전경-배경 세그먼테이션 마스크만을 사용하여 시각적 하울을 거친 3D 재구성 기법을 활용해 거친 내외 볼륨 예측기로 통합한다.
• NeRF의 계층적 샘플링을 시각적 하울의 경계 부피 내에 국한된 균일하고 조밀한 레이 샘플링으로 대체한다.
• JAX 기반의 완전히 미분 가능한 시각적 하울 서브루틴을 사용하여 100장의 이미지에 대해 약 10초 내로 최적화할 수 있다.
• NeRF의 MLP 평가를 시각적 하울 내부의 점들로만 제한하여 공백 영역에서의 고비용 평가를 제거한다.
• JaxNeRF 프레임워크 위에 약 30줄의 코드 변경으로 이 방법을 구현하여 모듈성과 이식 가능성을 유지한다.
• 추가적인 거친 네트워크 없이도 고해상도 바이트 샘플링(예: 400×400×400)을 사용한 단일 거친 모델을 통해 효과적인 공간 해상도를 확보한다.

실험 결과

연구 질문

• RQ1 시각적 하울과 같은 고전적인 3D 재구성 기법이 현대 NeRF 학습을 가속화하는 데 효과적으로 재사용될 수 있는가?
• RQ2 시각적 하울을 공간적 사전 지식으로 사용함으로써 렌더링 품질 저하 없이 NeRF 네트워크 평가 횟수를 줄일 수 있는가?
• RQ3 시각적 하울를 NeRF와 단순하고 모듈러하게 통합한 방법이 PlenOctrees나 NSVF처럼 더 복잡하고 최적화된 NeRF 변종을 능가할 수 있는가?
• RQ4 시각적 하울의 점 선택 효율성은 NeRF의 계층적 샘플링과 비교해 수렴 속도와 최종 정확도 측면에서 어떻게 다른가?
• RQ5 비볼록 형태나 투명성이 있는 어려운 시나리오에서도 시각적 하울의 속도 향상 효과가 일관되게 유지되는가?

주요 결과

• VaxNeRF는 JaxNeRF 기준선 대비 NeRF-Synthetic 및 NSVF-Synthetic 데이터셋에서 PSNR나 SSIM에 변화 없이 2–8배 빠른 학습 속도를 달성한다.
• 가장 성능이 뛰어난 VaxNeRF 변종들(예: vax_c600, vax_c800)은 최종 렌더링 품질을 NeRF 수준과 동일하거나 略로 뛰어나게 유지하면서도 훨씬 더 빠른 학습 속도를 기록한다.
• 단일 A100 GPU에서 VaxNeRF는 최대 240,489 레이/초(vax_c64f16)를 기록하며, NeRF의 34,424 레이/초를 뛰어넘는다.
• 256개 TPU 코어에서 VaxNeRF는 전체 NeRF 학습 시간을 2.5시간에서 약 30분으로 단축시킨다.
• VaxNeRF는 NSVF를 능가하고 PlenOctrees와 동등하거나 뛰어난 PSNR 성능을 기록하면서도 훨씬 단순한 구조를 유지한다.
• 비볼록 형태나 투명성이 있는 시나리오에서도 시각적 하울만으로는 진정한 내외 볼륨을 제공할 수 없음에도 불구하고, 이 방법은 여전히 효과적이다.