[논문 리뷰] DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering

Liwen Wu, Jae Yong Lee외 3명|arXiv (Cornell University)|2021. 11. 19.

Computer Graphics and Visualization Techniques참고 문헌 55인용 수 5

한 줄 요약

DIVeR는 볼륨 렌더링 적분을 볼렉스 기반 특징 필드 위에서 결정론적 방식으로 수행함으로써, 확률적 몬테카를로 샘플링을 대체함으로써 실시간이고 정확한 신경 렌더링 필드 방법을 제안한다. 각 볼렉스 단위로 밀집된 신경망(MLP)과 알파 블렌딩을 사용해 볼륨 렌더링 적분을 추정함으로써 얇고 반투명한 구조물의 고해상도 렌더링을 달성하며, 빠른 추론(~50 FPS), 작은 모델 크기(~64MB), 자연스러운 편집 기능을 제공하여 최신 NeRF 변종들보다 속도, 품질, 효율성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

DIVeR builds on the key ideas of NeRF and its variants -- density models and volume rendering -- to learn 3D object models that can be rendered realistically from small numbers of images. In contrast to all previous NeRF methods, DIVeR uses deterministic rather than stochastic estimates of the volume rendering integral. DIVeR's representation is a voxel based field of features. To compute the volume rendering integral, a ray is broken into intervals, one per voxel; components of the volume rendering integral are estimated from the features for each interval using an MLP, and the components are aggregated. As a result, DIVeR can render thin translucent structures that are missed by other integrators. Furthermore, DIVeR's representation has semantics that is relatively exposed compared to other such methods -- moving feature vectors around in the voxel space results in natural edits. Extensive qualitative and quantitative comparisons to current state-of-the-art methods show that DIVeR produces models that (1) render at or above state-of-the-art quality, (2) are very small without being baked, (3) render very fast without being baked, and (4) can be edited in natural ways.

연구 동기 및 목표

• NeRF에서 확률적 볼륨 렌더링의 한계, 특히 희박한 샘플링으로 인한 얇고 반투명한 구조물의 렌더링 열악함을 해결하기 위해.
• 최소한의 모델 크기와 빠른 추론을 유지하면서도 고정밀도를 확보하는 실시간이고 정확한 신경 렌더링 필드 방법을 개발하기 위해.
• 볼렉스 기반 표현에서 특징의 의미론적 특성을 노출시켜, 물체 교체나 조합과 같은 직관적이고 의미 기반의 장면 편집을 가능하게 하기 위해.
• 확률적 샘플링을 볼렉스 간격에 대한 결정론적 통합으로 대체함으로써 계산 비용과 기울기 노이즈를 감소시키기 위해.

제안 방법

• DIVeR는 각 정점에 학습 가능한 특징 벡터를 저장하는 볼렉스 격자로 장면를 표현하여 국소적이고 의미 기반의 표현을 가능하게 한다.
• 각 레이에 대해 볼륨 렌더링 적분은 레이를 볼렉스에 대응하는 간격들로 나누어 계산되며, 각 볼렉스 기여도는 신경망(MLP)을 통해 추정된다.
• 통합기( integrator )는 특징 벡터와 MLP를 사용해 밀도와 색상을 예측하고, 알파 블렌딩을 통해 이를 집계하여 각 볼렉스 간격의 기여도를 계산한다.
• 이 방법은 몬테카를로 방법의 분산과 샘플링 비효율성 문제를 피하기 위해 결정론적 접근을 사용해 볼륨 렌더링 적분을 추정한다.
• tanh 변환된 특징 벡터를 사용한 암시적-명시적 병합 학습 전략을 도입하여, 품질 손실이 미미한 수준에서 효율적인 저장(예: uint8)을 가능하게 한다.
• 모델은 픽셀 단위 재구성 오차를 최소화하기 위해 경사 하강법으로 학습되며, 추론은 볼렉스화된 특징 필드를 통해 레이를 쿼리함으로써 수행된다.

실험 결과

연구 질문

• RQ1 확률적 몬테카를로 샘플링보다 결정론적 볼륨 렌더링 통합기가 신경 렌더링 필드에서 얇고 반투명한 구조물을 렌더링하는 데서 더 우수한 성능을 보일 수 있는가?
• RQ2 MLP 기반 볼렉스 단위 통합을 갖는 볼렉스 기반 특징 필드는 암시적 NeRF에 비해 모델 크기, 추론 속도, 렌더링 품질에 어떤 영향을 미치는가?
• RQ3 볼렉스 격자 내 특징 벡터는 물체 교체나 조합과 같은 직관적이고 의미 기반의 장면 편집을 어느 정도 가능하게 하는가?
• RQ4 결정론적 통합은 확률적 샘플링에 비해 학습 노이즈를 줄이고 최적화 효율성을 향상시키는가?
• RQ5 작은 모델 크기(~64MB)와 함께 실시간 추론(예: 50 FPS)을 달성하면서도 최신 기준 PSNR를 유지할 수 있는가?

주요 결과

• 64MB의 float32 모델을 사용하여 레고 장면에서 PSNR 35.52를 달성하였으며, 유사한 모델 크기의 확률적 기준 모델(33.89 PSNR)을 뛰어넘었다.
• 단일 1080 Ti GPU에서 약 ~50 FPS로 렌더링되며, 표준 NeRF가 프레임당 수분이 소요되는 것과 비교해 뚜렷한 속도 향상을 보였다.
• 특징 벡터의 uint8 정량화를 통해 모델 크기를 약 ~19MB로 줄였고, PSNR는 약간 감소(35.44 vs. 35.52)에 그쳤으며, 이는 효율적인 배포를 가능하게 하였다.
• DIVeR는 몬테카를로 기반 NeRF가 충분한 샘플링으로 인해 놓치는 드럼헤드와 같은 얇고 반투명한 구조물을 성공적으로 렌더링하였다.
• 볼렉스 기반 특징 표현은 자연스러운 편집을 가능하게 하였으며, 물체 교체 및 장면 조합은 볼렉스 격자 블렌딩과 특징 클러스터링을 통해 수행되었고, 뷰 변화에 관계없이 결과가 유지되었다.
• 절단 실험 결과에 따르면, 결정론적 통합과 암시적-명시적 학습 전략이 성능 향상에 핵심적인 역할을 하며, 무작위 샘플링 또는 순수 암시적 모델은 명백한 품질 저하를 초래함을 확인하였다.