[论文解读] 4K4D: Real-Time 4D View Synthesis at 4K Resolution

Zhen Xu, Sida Peng+6 more|arXiv (Cornell University)|Oct 17, 2023

Advanced Vision and Imaging被引用 6

一句话总结

本文提出4K4D，一种结合4D特征网格与混合外观建模的4D点云表示方法，可在RTX 4090 GPU上实现超过80 FPS的实时4K动态视角合成。通过利用硬件光栅化与可微分深度剥离算法，其渲染速度比之前的方法快30倍，同时在基准数据集上保持了最先进水平的视觉质量。

ABSTRACT

This paper targets high-fidelity and real-time view synthesis of dynamic 3D scenes at 4K resolution. Recently, some methods on dynamic view synthesis have shown impressive rendering quality. However, their speed is still limited when rendering high-resolution images. To overcome this problem, we propose 4K4D, a 4D point cloud representation that supports hardware rasterization and enables unprecedented rendering speed. Our representation is built on a 4D feature grid so that the points are naturally regularized and can be robustly optimized. In addition, we design a novel hybrid appearance model that significantly boosts the rendering quality while preserving efficiency. Moreover, we develop a differentiable depth peeling algorithm to effectively learn the proposed model from RGB videos. Experiments show that our representation can be rendered at over 400 FPS on the DNA-Rendering dataset at 1080p resolution and 80 FPS on the ENeRF-Outdoor dataset at 4K resolution using an RTX 4090 GPU, which is 30x faster than previous methods and achieves the state-of-the-art rendering quality. Our project page is available at https://zju3dv.github.io/4k4d/.

研究动机与目标

• 解决在4K分辨率下实现高保真度4D动态场景实时渲染的挑战。
• 克服现有隐式神经渲染方法推理速度缓慢的问题，这些方法在1080p分辨率下通常每帧需数秒，而在4K分辨率下会降至1.3 FPS。
• 开发一种支持硬件加速渲染的神经表示，同时保持高视觉质量。
• 提出一种与GPU光栅化兼容的可微分深度剥离算法，以实现高效优化与渲染。
• 设计一种混合外观模型，结合基于图像的混合与连续球谐函数，以在不牺牲速度的前提下提升渲染保真度。

提出的方法

• 使用空间雕刻构建粗略几何的4D点云表示，包含可学习的点位置与4D特征网格用于特征编码。
• 使用多层感知机（MLP）从4D特征网格预测点的半径、密度与球谐函数（SH）系数，形成用于体素渲染的半透明点云。
• 设计一种混合外观模型：采用与视角无关的图像混合网络（IBR）处理高频细节，同时使用连续SH模型处理视角依赖的外观。
• 将IBR项与视角方向解耦，以支持预计算与缓存，从而在补偿离散视角依赖性的同时实现快速渲染。
• 开发一种可微分深度剥离算法，利用GPU光栅化流水线加速优化与渲染过程，替代昂贵的逐射线MLP计算。
• 应用多种优化技术，包括FP16推理、减少深度剥离步数（K=12），以及对预计算的几何与外观特征进行内存缓存，以提升运行速度。

实验结果

研究问题

• RQ1 具有4D特征网格的神经点云表示能否在4K分辨率下同时实现高渲染质量与实时性能？
• RQ2 结合基于图像混合与球谐函数的混合外观模型，在渲染质量上相较于仅使用SH或仅使用IBR的方法，提升效果如何？
• RQ3 通过可微分深度剥离实现的硬件加速渲染，在速度与可扩展性方面，相较于传统的CUDA可微分渲染方法，优势有多大？
• RQ4 FP16、减少深度剥离步数与特征缓存等优化技术，对实时4K渲染中渲染吞吐量的影响如何？
• RQ5 所提出方法能否在消费级GPU（如RTX 4090）上实现实时性能（≥30 FPS）的4K分辨率图像渲染？

主要发现

• 在RTX 3090 GPU上，4K4D在1080p分辨率下于DNA-Rendering数据集上达到400 FPS，而在4K分辨率下达到80 FPS，相比之前方法实现30倍速度提升。
• 在RTX 4090 GPU上，4K4D在4K分辨率下于ENeRF-Outdoor数据集上实现85.1 FPS（包含GUI开销），证明了其在4K内容上的实时能力。
• 消融实验表明，缓存几何与外观特征可带来10倍速度提升（219.4 FPS vs. 22.2 FPS），证实了预计算的有效性。
• 可微分深度剥离算法比PyTorch3D的CUDA实现快7倍以上，验证了其在优化过程中的高效性。
• 采用FP16并减少深度剥离步数从15降至12，使渲染速度提升20 FPS，凸显了混合精度与算法优化的重要影响。
• 混合外观模型在DNA-Rendering数据集上达到SOTA的PSNR（31.990）与SSIM（0.982），在保持高速的同时显著提升了渲染质量。