[论文解读] Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time

Liao Wang, Jiakai Zhang+7 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出傅里叶普莱诺克特里（FPO），一种新颖的神经表示方法，可实现从多视角视频序列中实时、高保真地渲染动态场景。通过结合广义NeRF、普莱诺克特里数据结构、体素融合以及时间可变颜色和密度的傅里叶编码，FPO在保持高视觉质量的同时，相比原始NeRF实现3000倍加速，且推理速度超过SOTA方法10倍以上，同时支持高效的微调和紧凑的内存使用。

ABSTRACT

Implicit neural representations such as Neural Radiance Field (NeRF) have focused mainly on modeling static objects captured under multi-view settings where real-time rendering can be achieved with smart data structures, e.g., PlenOctree. In this paper, we present a novel Fourier PlenOctree (FPO) technique to tackle efficient neural modeling and real-time rendering of dynamic scenes captured under the free-view video (FVV) setting. The key idea in our FPO is a novel combination of generalized NeRF, PlenOctree representation, volumetric fusion and Fourier transform. To accelerate FPO construction, we present a novel coarse-to-fine fusion scheme that leverages the generalizable NeRF technique to generate the tree via spatial blending. To tackle dynamic scenes, we tailor the implicit network to model the Fourier coefficients of timevarying density and color attributes. Finally, we construct the FPO and train the Fourier coefficients directly on the leaves of a union PlenOctree structure of the dynamic sequence. We show that the resulting FPO enables compact memory overload to handle dynamic objects and supports efficient fine-tuning. Extensive experiments show that the proposed method is 3000 times faster than the original NeRF and achieves over an order of magnitude acceleration over SOTA while preserving high visual quality for the free-viewpoint rendering of unseen dynamic scenes.

研究动机与目标

• 实现从多视角视频输入中实时、逼真地自由视角渲染动态场景。
• 解决现有神经渲染方法在非刚性、动态物体上过于缓慢或缺乏泛化能力的局限性。
• 在保持高视觉质量的同时，降低内存开销和训练时间，提升动态场景建模效率。
• 支持无需从头开始训练即可高效微调新动态场景。
• 开发一种可扩展、紧凑的神经表示，适用于VR、AR及沉浸式远程通信应用。

提出的方法

• 采用粗到精的融合方案，利用可泛化的NeRF快速从多视角图像生成普莱诺克特里，结合稀疏视角渲染与空间混合技术。
• 在整段动态序列上构建联合普莱诺克特里，以表示时空几何与外观。
• 将时变密度与颜色建模为时间域中的傅里叶系数，实现紧凑的频域表示。
• 隐式网络直接在联合普莱诺克特里的叶节点上进行训练，以预测普莱奥普特函数的傅里叶系数。
• 舍弃高频傅里叶基函数以减少存储开销，同时保留感知细节。
• 提出一种新型体素融合策略，结合空间混合，实现在数分钟内快速、准确地构建普莱诺克特里。

Figure 1 : Our method achieves a photo-realistic rendered result for dynamic scenes in real-time based on our novel Fourier PlenOctree structure.

实验结果

研究问题

• RQ1 能否设计一种神经表示，实现实时渲染动态场景的同时保持高视觉保真度？
• RQ2 时间可变属性的傅里叶编码在神经辐射场中如何提升内存效率与渲染速度？
• RQ3 基于可泛化的NeRF的粗到精融合流水线能否加速动态场景的普莱诺克特里构建？
• RQ4 在动态场景建模中，傅里叶维度、存储开销与渲染质量之间的最优权衡是什么？
• RQ5 微调在多大程度上提升渲染质量？收敛速度如何？

主要发现

• FPO相比原始NeRF实现3000倍加速，支持动态场景的实时渲染。
• 在傅里叶维度n₁=31、n₂=5下，实现117.87 FPS的帧率，PSNR达36.21，兼顾质量、速度与内存开销。
• 仅需10分钟微调即可达到近似最优视觉质量，10小时后训练无显著提升。
• 在有限内存（7.25 GB）下使用DFT的性能优于非DFT方法，PSNR达36.21，而后者分别为32.15和25.97。
• FPO模型仅需7.25 GB存储空间，支持实时渲染且微调时间极短，优于内存受限与无限制的基线方法。
• 该方法支持高效微调与紧凑内存占用，适用于VR/AR及远程通信中的动态场景渲染。

Figure 2 : Illustration of our fast PlenOctree generation for static scene and fast Fourier PlenOctree generation for dynamic scene. (a) illustrates how to generate a PlenOctree from multiview images. Given these images, a generalized NeRF $\Psi$ predicts view-dependent density $\sigma$ and color $\