[论文解读] GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

Quankai Gao, Qiangeng Xu+6 more|arXiv (Cornell University)|Mar 19, 2024

Computer Graphics and Visualization Techniques被引用 4

一句话总结

GaussianFlow 提出了一种新颖的可微分框架，通过投影将3D高斯动态与2D像素级光流关联起来，实现了通过光流对3D运动的直接监督。该方法通过减少颜色漂移，在动态场景中显著提升了4D内容生成与新视角合成的性能，实现了运动一致性与视觉质量的最先进水平。

ABSTRACT

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/

研究动机与目标

• 为解决4D高斯点云渲染中缺乏对动态的直接监督，尤其是在单目或稀疏视角输入下的问题。
• 通过显式地使用光流监督3D高斯动态，解决4D生成中的运动模糊与颜色漂移问题。
• 提升4D内容生成与新视角合成中的时间一致性与真实感，特别是在高度动态区域。
• 开发一种可微分且高效的算法，将3D高斯运动与2D像素速度相连接，同时不牺牲渲染速度。

提出的方法

• 提出Gaussian flow作为由3D高斯动态（平移、旋转、缩放）在图像平面上投影形成的密集2D运动表征。
• 利用可微分投影将3D高斯运动映射为2D像素级光流，支持端到端反向传播。
• 通过最小化预测Gaussian flow与真实光流之间的L2损失，直接监督3D高斯动态。
• 在4D内容生成与4D新视角合成过程中均应用光流监督，以稳定运动与外观。
• 结合光度损失与光流监督，在稀疏视角条件下减少几何、外观与动态的模糊性。
• 采用可微分渲染流水线，将光流监督整合至4D高斯点云场的优化过程中。

Figure 2 : Between two consecutive frames, a pixel $x_{t_{1}}$ will be pushed towards $x_{t_{1}}\rightarrow x_{i,t_{2}}$ by the 2D Gaussian $i$ ’s motion $i^{t_{1}}\rightarrow i^{t_{2}}$ . We can track $x_{t_{1}}$ in Gaussian $i$ by normalizing it to canonical Gaussian space as $\hat{x}_{i}$ and unn

实验结果

研究问题

• RQ1 能否以可微分且高效的方式，利用2D光流对3D高斯动态进行有效监督？
• RQ2 光流引导的监督在4D高斯点云渲染中如何提升运动一致性并减少颜色漂移？
• RQ3 Gaussian flow能否同时增强4D内容生成与4D新视角合成，特别是在高度动态或遮挡区域？
• RQ4 与光度损失及潜在空间监督（如SDS）相比，光流监督在处理运动模糊性方面表现如何？
• RQ5 该方法能否在包含丰富运动、细长结构与快速运动部件的多样化动态场景中实现泛化？

主要发现

• 所提方法在4D内容生成与4D新视角合成任务上均达到最先进性能，在仅包含动态区域的基准测试中取得32.30的PSNR。
• 在4DGS基准上，本方法取得34.22的PSNR，优于RT-4DGS（32.01）与4DGS（31.15），展现出更优的运动真实感。
• 若无光流监督，高斯运动变得不一致，导致光流不平滑，并在新视角中产生伪影，尤其在运动部件上更为明显。
• 光流监督通过在时间维度上稳定动态高斯行为，有效缓解了4D生成中的颜色漂移。
• 可视化结果表明，仅在应用光流监督时，Gaussian flow在输入视图与新视角上均与真实光流对齐。
• 消融实验表明，光流监督显著提升了细长结构（如鸟喙）与复杂区域（如头骨牙齿）的运动质量，而仅依赖光度损失时则无法有效处理。

Figure 3 : Overview of our 4D content generation pipeline. Our model can take an uncalibrated monocular video or video generated from an image as the input. We optimize a 3D Gaussian field by matching the first frame photometrically on reference view and using a 3D-aware SDS loss [ 26 ] to supervise