[论文解读] Mixed Neural Voxels for Fast Multi-view Video Synthesis

Feng Wang, Sinan Tan+4 more|arXiv (Cornell University)|Dec 1, 2022

Advanced Vision and Imaging被引用 4

一句话总结

MixVoxels 提出了一种混合静态-动态体素表示方法，采用独立的网络分别处理静态和动态区域，实现了 300 帧视频 15 分钟的训练时间与 1K 分辨率下 37 fps 的渲染速度。该方法使用内积时间查询机制实现高效的多时间步监督，并通过变化场区分静态与动态体素，实现了 SOTA 的 PSNR 指标，且训练速度比隐式方法快 5000 倍。

ABSTRACT

Synthesizing high-fidelity videos from real-world multi-view input is challenging because of the complexities of real-world environments and highly dynamic motions. Previous works based on neural radiance fields have demonstrated high-quality reconstructions of dynamic scenes. However, training such models on real-world scenes is time-consuming, usually taking days or weeks. In this paper, we present a novel method named MixVoxels to better represent the dynamic scenes with fast training speed and competitive rendering qualities. The proposed MixVoxels represents the 4D dynamic scenes as a mixture of static and dynamic voxels and processes them with different networks. In this way, the computation of the required modalities for static voxels can be processed by a lightweight model, which essentially reduces the amount of computation, especially for many daily dynamic scenes dominated by the static background. To separate the two kinds of voxels, we propose a novel variation field to estimate the temporal variance of each voxel. For the dynamic voxels, we design an inner-product time query method to efficiently query multiple time steps, which is essential to recover the high-dynamic motions. As a result, with 15 minutes of training for dynamic scenes with inputs of 300-frame videos, MixVoxels achieves better PSNR than previous methods. Codes and trained models are available at https://github.com/fengres/mixvoxels

研究动机与目标

• 解决神经辐射场在真实动态场景中计算成本高、训练速度慢的问题。
• 在减少静态背景冗余计算的同时，提升对高动态运动的渲染质量。
• 实现在复杂真实环境中的多视角视频合成的快速、实用的训练与推理。
• 通过分离静态与动态组件，消除对复杂重要性采样策略的依赖。

提出的方法

• MixVoxels 将 4D 场景表示为静态与动态体素的混合，通过独立的神经网络处理，以减少静态区域的计算量。
• 变化场用于估计每个体素的时间方差，以分类其为静态或动态，从而实现组件的空间分离。
• 内积时间查询机制可高效同时查询多个时间步，提升对高动态物体的时序建模能力。
• 该方法采用基于坐标的神经网络，并在时间维度上共享权重，从而实现快速推理与训练。
• 通过在静态体素上应用轻量级模型，并将动态模型聚焦于运动区域，进一步加速训练。
• 该框架通过利用静态-动态分离，避免了复杂的射线采样策略，从而提升了运动的清晰度。

Figure 1: Our method enables rapid reconstruction of 4D dynamic scenes. We visualize the rendering results with different training schedules. With only 15 minutes of training, our approach achieves comparable PSNRs to other methods. Increasing the training time further enhances the ability to recove

实验结果

研究问题

• RQ1 混合静态-动态体素表示是否能显著缩短训练时间，同时不牺牲渲染质量？
• RQ2 分离静态与动态组件在多大程度上影响模型捕捉清晰运动细节的能力？
• RQ3 像内积查询这样的高效时间查询机制，与拼接或基于傅里叶的方法相比，是否能在高动态场景中提升性能？
• RQ4 变化场在真实场景中多大程度上能实现静态-动态体素的准确分类？

主要发现

• 经过 0.6 小时训练，MixVoxels 达到 29.47 的 PSNR，优于全动态基线模型（28.36 PSNR），且训练速度显著更快。
• 该方法以 1K 分辨率实现 37 fps 的新视角视频渲染，支持实时交互应用。
• 仅用 15 分钟训练，MixVoxels 的 PSNR 即可达到以往方法经长时间训练后的水平。
• 内积时间查询方法将训练时间缩短至 40 分钟（相比拼接方法的 58 分钟），且 PSNR 提升 0.52。
• 消融实验表明，混合体素方法使 PSNR 提升 1.11，DSSIM 降低 0.010，证实了组件分离的优势。
• 与隐式动态场景表示相比，该方法将训练时间减少 5000 倍，同时保持或超越 SOTA 性能。

Figure 2: Overview of our method. Given a ray, we first sample points, and split them into static and dynamic ones using the variation field. After that, we feed these points to the corresponding branches and query the required properties. Then we merge the static output and dynamic output for rende