[논문 리뷰] AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields

Andreas Kurz, Thomas Neff외 3명|arXiv (Cornell University)|2022. 07. 21.

Advanced Vision and Imaging인용 수 8

한 줄 요약

AdaNeRF는 신경 렌더링 필드에서 레이당 샘플 수를 적응적으로 감소시키기 위해 적응형 샘플링을 사용하는 컴act하고 엔드 투 엔드로 훈련 가능한 이중 네트워크 아키텍처를 도입한다. 샘플링 네트워크는 최적의 샘플 위치를 예측하고, 셰이딩 네트워크는 가장 중요한 샘플들만 평가한다. 이로 인해 이전의 샘플링 기반 방법들에 비해 훨씬 높은 품질과 효율성을 확보하면서도 소비자용 GPU에서 26 FPS로 실시간 렌더링이 가능해졌다.

ABSTRACT

Novel view synthesis has recently been revolutionized by learning neural radiance fields directly from sparse observations. However, rendering images with this new paradigm is slow due to the fact that an accurate quadrature of the volume rendering equation requires a large number of samples for each ray. Previous work has mainly focused on speeding up the network evaluations that are associated with each sample point, e.g., via caching of radiance values into explicit spatial data structures, but this comes at the expense of model compactness. In this paper, we propose a novel dual-network architecture that takes an orthogonal direction by learning how to best reduce the number of required sample points. To this end, we split our network into a sampling and shading network that are jointly trained. Our training scheme employs fixed sample positions along each ray, and incrementally introduces sparsity throughout training to achieve high quality even at low sample counts. After fine-tuning with the target number of samples, the resulting compact neural representation can be rendered in real-time. Our experiments demonstrate that our approach outperforms concurrent compact neural representations in terms of quality and frame rate and performs on par with highly efficient hybrid representations. Code and supplementary material is available at https://thomasneff.github.io/adanerf.

연구 동기 및 목표

• 신경 렌더링 필드 렌더링의 높은 계산 비용을 해결하기 위해, 정확한 볼륨 렌더링을 위해 레이당 많은 샘플이 필요한 문제를 해결한다.
• 샘플링 기반 NeRF 방법에서 사전 처리, 사전 훈련 또는 복잡한 입력 파arametrization이 필요 없도록 한다.
• 낮은 메모리 사용량을 유지하면서도 실시간 렌더링을 달성한다.
• 다중 AdaNeRF 모델을 사용하여 대규모 또는 무한한 장면을 스케일러블하고 스트리밍 호환 가능하게 렌더링할 수 있도록 한다.

제안 방법

• 이 방법은 이중 네트워크 아키텍처를 사용한다: 단일 평가 샘플링 네트워크와 다중 평가 셰이딩 네트워크.
• 안정적인 훈련과 부드러운 학생-선생님 정규화를 위해 각 레이의 길이에 따라 고정된 이산적 샘플 위치를 사용한다.
• 샘플링 네트워크는 각 레이당 밀도 벡터 δ를 예측하며, 이는 낮은 기여도 샘플을 제거하기 위해 임계값 처리된다.
• 남아 있는 샘플들만 셰이딩 네트워크에 의해 평가되며, 이 네트워크는 σ(밀도)와 RGB 색상을 예측한다.
• 최종 RGB 출력은 셰이딩 네트워크의 σ와 샘플링 네트워크의 δ를 곱하여 계산되며, 이는 두 네트워크로의 기울기 전파를 가능하게 한다.
• 4단계 훈련 스킴은 점진적으로 희소성 조건을 적용한 후, 실시간 성능을 확보하기 위해 목표 샘플 수에서의 정밀 조정을 수행한다.

실험 결과

연구 질문

• RQ1 컴act하고 엔드 투 엔드로 훈련 가능한 이중 네트워크 아키텍처가 영향을 주지 않으면서도 레이당 필요한 샘플 수를 크게 줄일 수 있는가?
• RQ2 학습 가능한 샘플링 네트워크에 기반한 적응형 샘플링 전략이 고정 또는 사전 계산된 샘플링 전략에 비해 렌더링 효율성과 품질 측면에서 어떻게 비교되는가?
• RQ3 이러한 시스템이 소비자 하드웨어에서 실시간 추론을 달성하면서도 낮은 메모리 사용량을 유지할 수 있는가?
• RQ4 다중 AdaNeRF 모델이 겹치는 영역에서 효과적으로 융합되어 대규모 또는 무한한 장면의 스케일러블 렌더링이 가능한가?

주요 결과

• AdaNeRF는 1008×756 해상도에서 레이당 2개의 샘플만으로도 26 FPS를 달성하며, NeRF에 비해 추론 속도가 최대 74배 빠르다.
• 동일한 샘플 수에서 AdaNeRF는 DONeRF에 비해 최대 5배, TermiNeRF*에 비해 최대 6배, AutoInt에 비해 최대 7배 더 빠른 렌더링 속도를 기록한다.
• AdaNeRF는 동일 품질 수준에서 Instant-NGP와 동등한 품질을 확보하면서도 최대 2배 빠른 추론 속도를 달성한다.
• 입력 처리 및 적응형 샘플링으로 인한 프레임 타임 오버헤드가 총 프레임 타임의 3% 미만으로 줄어들었으며, 대부분의 시간은 셰이딩 네트워크 추론에 소요된다.
• 겹치는 영역에서 다중 AdaNeRF를 융합하여 대규모 장면의 스케일러블 렌더링이 가능해졌으며, 스트리밍 사용 사례를 지원한다.
• 희소성 정규화를 적용한 4단계 훈련 스킴은 붕괴를 효과적으로 방지하며, 매우 낮은 샘플 수에서도 고품질 결과를 도출할 수 있다.