[论文解读] D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes

Hankyu Jang, Dae-Young Kim|arXiv (Cornell University)|Dec 5, 2022

Advanced Vision and Imaging被引用 9

一句话总结

D-TensoRF 通过将辐射场建模为5D张量（3D空间 + 时间）并应用CP或矩阵-矩阵（MM）分解实现低秩分解，提出了一种紧凑、快速的动态3D场景张量化辐射场。其在训练时间低于16分钟、模型大小小至1.8 MB的情况下实现了最先进的人眼感知质量，通过平滑正则化实现时间一致性，无需去形变网络。

ABSTRACT

Neural radiance field (NeRF) attracts attention as a promising approach to reconstructing the 3D scene. As NeRF emerges, subsequent studies have been conducted to model dynamic scenes, which include motions or topological changes. However, most of them use an additional deformation network, slowing down the training and rendering speed. Tensorial radiance field (TensoRF) recently shows its potential for fast, high-quality reconstruction of static scenes with compact model size. In this paper, we present D-TensoRF, a tensorial radiance field for dynamic scenes, enabling novel view synthesis at a specific time. We consider the radiance field of a dynamic scene as a 5D tensor. The 5D tensor represents a 4D grid in which each axis corresponds to X, Y, Z, and time and has 1D multi-channel features per element. Similar to TensoRF, we decompose the grid either into rank-one vector components (CP decomposition) or low-rank matrix components (newly proposed MM decomposition). We also use smoothing regularization to reflect the relationship between features at different times (temporal dependency). We conduct extensive evaluations to analyze our models. We show that D-TensoRF with CP decomposition and MM decomposition both have short training times and significantly low memory footprints with quantitatively and qualitatively competitive rendering results in comparison to the state-of-the-art methods in 3D dynamic scene modeling.

研究动机与目标

• 解决现有基于NeRF的方法在动态场景中依赖缓慢的去形变网络所导致的效率低下问题。
• 将原本用于静态场景的TensoRF框架扩展至动态场景，采用5D张量表示。
• 在保持高渲染质量的前提下，减少训练时间与模型大小，实现动态场景重建。
• 通过时间平滑正则化显式建模时间依赖性，以提升运动一致性。

提出的方法

• 将动态场景的辐射场表示为5D张量，包含空间（X, Y, Z）和时间（t）维度，每个元素存储多通道特征。
• 应用CANDECOMP/PARAFAC（CP）分解，沿X、Y、Z和时间轴对5D张量进行低秩分解。
• 提出一种新型矩阵-矩阵（MM）分解方法，相比CP分解计算成本更低，以略微增加模型大小为代价换取更快的训练速度。
• 在时间轴上引入基于高斯分布的平滑正则化，以强制相邻帧之间的时间一致性。
• 使用小型神经网络和可微渲染过程优化低秩组件。
• 采用基于网格的特征表示并结合自适应分辨率，以平衡细节与效率。

实验结果

研究问题

• RQ1 是否可以在不依赖独立去形变网络的前提下，将基于张量的辐射场扩展至动态场景？
• RQ2 在动态场景中，CP分解与所提出的MM分解在训练速度、模型大小和渲染质量方面有何对比？
• RQ3 时间平滑正则化对动态场景建模中运动一致性和渲染质量的影响如何？
• RQ4 网格分辨率和组件数量如何影响细节、清晰度与计算成本之间的权衡？
• RQ5 是否能够通过显式张量分解与时间正则化，实现紧凑、快速且高质量的动态场景重建？

主要发现

• 采用CP分解的D-TensoRF模型大小仅为1.8 MB，显著小于现有方法。
• 采用MM分解的D-TensoRF将训练时间缩短至仅16分钟（60k步），在训练速度方面优于最先进方法。
• 平滑正则化使CP变体的PSNR提升1.77 dB（从28.91提升至30.68），LPIPS降低0.01（从0.04降至0.03），证明其必要性。
• 该方法在新视角合成中实现了最先进水平的LPIPS分数（0.03），表明其感知质量更优。
• 在150³×Nt分辨率下，D-TensoRF-CP可渲染出静态部分清晰的图像；而D-TensoRF-MM在100³×Nt分辨率下在运动区域实现了细节与模糊之间的最佳平衡。
• 消融实验表明，过高或过低的网格分辨率均会降低性能，验证了所选分辨率选择的最优性。