[논문 리뷰] Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time

Liao Wang, Jiakai Zhang외 7명|arXiv (Cornell University)|2022. 02. 17.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 다중 시야 영상 시퀀스에서 실시간으로 고해상도 렌더링이 가능한 새로운 신경 표현인 푸리에 플레노크트리(Fourier PlenOctrees, FPO)를 제안한다. 일반화된 NeRF, 플레노크트리 데이터 구조, 부피 융합 및 시간에 따라 변화하는 색상과 밀도의 푸리에 인코딩을 결합함으로써 FPO는 원래 NeRF 대비 3000배 빠른 성능을 달성하고, 최신 기술(SOTA)보다 10배 이상 빠른 추론 속도를 제공하면서도 효율적인 미세조정과 낮은 메모리 사용을 지원한다.

ABSTRACT

Implicit neural representations such as Neural Radiance Field (NeRF) have focused mainly on modeling static objects captured under multi-view settings where real-time rendering can be achieved with smart data structures, e.g., PlenOctree. In this paper, we present a novel Fourier PlenOctree (FPO) technique to tackle efficient neural modeling and real-time rendering of dynamic scenes captured under the free-view video (FVV) setting. The key idea in our FPO is a novel combination of generalized NeRF, PlenOctree representation, volumetric fusion and Fourier transform. To accelerate FPO construction, we present a novel coarse-to-fine fusion scheme that leverages the generalizable NeRF technique to generate the tree via spatial blending. To tackle dynamic scenes, we tailor the implicit network to model the Fourier coefficients of timevarying density and color attributes. Finally, we construct the FPO and train the Fourier coefficients directly on the leaves of a union PlenOctree structure of the dynamic sequence. We show that the resulting FPO enables compact memory overload to handle dynamic objects and supports efficient fine-tuning. Extensive experiments show that the proposed method is 3000 times faster than the original NeRF and achieves over an order of magnitude acceleration over SOTA while preserving high visual quality for the free-viewpoint rendering of unseen dynamic scenes.

연구 동기 및 목표

• 다중 시야 영상 입력으로부터 실시간으로 포토레얼리스틱 자유 시점 렌더링이 가능한 동적 영상 시나리오를 제공하는 것.
• 비정형, 동적 물체에 대해 너무 느리거나 일반화 능력이 떨어지는 기존 신경 렌더링 방법의 한계를 해결하는 것.
• 고해상도 시각 품질을 유지하면서도 메모리 오버헤드와 학습 시간을 줄이는 것.
• 재학습 없이도 새로운 동적 시나리오에 대해 효율적인 미세조정을 지원하는 것.
• 가상현실(VR), 증강현실(AR), 몰입형 원격 존재 응용 분야에 적합한 확장 가능하고 컴팩트한 신경 표현을 개발하는 것.

제안 방법

• 일반화된 NeRF를 활용한 군집에서 세분화된 융합 전략이 희소 시야 렌더링과 공간 블렌딩을 통해 다중 시야 이미지로부터 빠르게 플레노크트리를 생성한다.
• 전체 동적 시퀀스 동안의 시공간 기하학적 구조와 외관을 표현하기 위해 전체 영역에 걸쳐 유니온 플레노크트리를 구성한다.
• 시간에 따라 변화하는 밀도와 색상은 시간 도메인에서 푸리에 계수로 모델링되어 압축된 주파수 기반 표현을 가능하게 한다.
• 암시적 네트워크는 유니온 플레노크트리의 잎 노드에 직접 학습되어 플레노크트릭 함수의 푸리에 계수를 예측한다.
• 고주파 푸리에 기저를 기각함으로써 저장소를 줄이면서도 인지적 세부 정보를 유지한다.
• 공간 블렌딩을 통한 새로운 부피 융합 전략이 분석 시간이 짧고 정확한 플레노크트리 구축을 가능하게 한다.

Figure 1 : Our method achieves a photo-realistic rendered result for dynamic scenes in real-time based on our novel Fourier PlenOctree structure.

실험 결과

연구 질문

• RQ1 고해상도 시각 품질을 유지하면서도 실시간으로 동적 시나리오를 렌더링할 수 있는 신경 표현을 설계할 수 있는가?
• RQ2 시간에 따라 변화하는 속성의 푸리에 인코딩이 신경 렌디언스 필드에서 메모리 효율성과 렌더링 속도를 어떻게 향상시킬 수 있는가?
• RQ3 일반화된 NeRF 기반의 군집에서 세분화된 융합 파이프라인은 동적 시나리오의 플레노크트리 구축을 어떻게 가속화할 수 있는가?
• RQ4 동적 시나리오 모델링에서 푸리에 차원, 저장소, 렌더링 품질 간 최적의 트레이드오프는 무엇인가?
• RQ5 미세조정은 렌더링 품질을 얼마나 향상시키며, 수렴 속도는 얼마나 빠른가?

주요 결과

• FPO는 원래 NeRF 대비 3000배 빠른 성능을 달성하여 동적 시나리오의 실시간 렌더링을 가능하게 한다.
• 푸리에 차원 n₁=31, n₂=5를 사용할 경우 117.87 FPS의 성능과 PSNR 36.21의 품질을 확보하여 품질, 속도, 메모리 간 균형을 잘 이룬다.
• 10분간의 미세조정으로 최적에 가까운 시각 품질을 확보할 수 있으며, 10시간 이상 학습해도 유의미한 향상이 없다.
• 제한된 메모리(7.25 GB) 조건에서 DFT를 사용할 경우 비-DFT 방법보다 우수한 성능을 보이며, PSNR 36.21 대비 32.15와 25.97의 성능을 확보한다.
• FPO 모델은 오직 7.25 GB의 저장소만을 사용하며, 최소한의 미세조정 시간으로 실시간 렌더링이 가능하여, 메모리 제약이 있는 경우와 없는 경우의 기준 모델을 모두 초월한다.
• 이 방법은 효율적인 미세조정과 컴팩트한 메모리 오버헤드를 지원하여, VR/AR 및 원격 존재 응용 분야에서의 동적 시나리오 렌더링에 적합하다.

Figure 2 : Illustration of our fast PlenOctree generation for static scene and fast Fourier PlenOctree generation for dynamic scene. (a) illustrates how to generate a PlenOctree from multiview images. Given these images, a generalized NeRF $\Psi$ predicts view-dependent density $\sigma$ and color $\