[论文解读] DreamGaussian4D: Generative 4D Gaussian Splatting

Jiawei Ren, Liang Pan+5 more|arXiv (Cornell University)|Dec 28, 2023

3D Shape Modeling and Analysis被引用 6

一句话总结

DreamGaussian4D 提出了一种高效的4D内容生成框架，采用4D高斯点阵表示，通过显式建模空间变换，将优化时间从数小时缩短至数分钟。该方法通过驱动视频实现可控的3D运动生成，并通过视频到视频的纹理优化提升网格质量，实现与真实世界3D引擎的兼容性。

ABSTRACT

4D content generation has achieved remarkable progress recently. However, existing methods suffer from long optimization times, a lack of motion controllability, and a low quality of details. In this paper, we introduce DreamGaussian4D (DG4D), an efficient 4D generation framework that builds on Gaussian Splatting (GS). Our key insight is that combining explicit modeling of spatial transformations with static GS makes an efficient and powerful representation for 4D generation. Moreover, video generation methods have the potential to offer valuable spatial-temporal priors, enhancing the high-quality 4D generation. Specifically, we propose an integral framework with two major modules: 1) Image-to-4D GS - we initially generate static GS with DreamGaussianHD, followed by HexPlane-based dynamic generation with Gaussian deformation; and 2) Video-to-Video Texture Refinement - we refine the generated UV-space texture maps and meanwhile enhance their temporal consistency by utilizing a pre-trained image-to-video diffusion model. Notably, DG4D reduces the optimization time from several hours to just a few minutes, allows the generated 3D motion to be visually controlled, and produces animated meshes that can be realistically rendered in 3D engines.

研究动机与目标

• 解决现有4D生成方法中存在的优化时间长、运动控制能力有限以及细节质量低的问题。
• 利用4D高斯点阵表示中显式的空间变换建模能力，简化动态优化过程，加速训练速度。
• 通过从图像条件生成的驱动视频中学习运动，实现灵活多样的3D运动控制，避免依赖得分蒸馏技术。
• 通过视频到视频的纹理优化流程，提升时间一致性与网格质量，生成可部署的动画网格。
• 通过导出高质量、时间一致的动画网格，促进在真实世界应用中的实际部署。

提出的方法

• 首先，使用 DreamGaussianHD（一种改进的训练方案）训练静态3D高斯点阵模型，以提升多视角重建效果并修复背景伪影。
• 在动态优化中引入零初始化策略，防止模型从静态模型发生漂移，确保稳定收敛。
• 通过一个变形网络学习时间相关的形变（位置、缩放、旋转），该网络在由图像到视频扩散模型生成的驱动视频上进行训练。
• 采用视频到视频的扩散生成流程，对每帧的纹理图进行优化，提升时间一致性并减少闪烁现象。
• 将优化后的4D高斯点阵表示导出为动画网格序列，用于下游3D引擎的集成。
• 采用多阶段优化策略：静态3D GS（500次迭代）、动态4D GS（200次迭代）以及可选的网格优化（50次迭代），全部在单张A100 GPU上完成。

实验结果

研究问题

• RQ1 在4D生成中，高斯点阵表示中显式的空间变换建模是否能显著减少优化时间，相比隐式表示？
• RQ2 通过生成的驱动视频学习运动是否能提供比从视频扩散模型中蒸馏得分更优的运动可控性与多样性？
• RQ3 视频到视频的纹理优化是否能提升导出动画网格的时间一致性，相比逐帧优化？
• RQ4 零初始化在多大程度上能防止漂移并提升动态4D高斯点阵优化的稳定性？
• RQ5 该完整流程能否生成高保真、兼容网格的4D内容，适用于真实世界3D引擎的部署？

主要发现

• DreamGaussian4D 将优化时间从6.5小时（MAV3D）缩短至仅6.5分钟，实现60倍加速，且仅需700次迭代，远低于先前工作的12,000次迭代。
• 在 Animate124 基准测试中，该方法获得 CLIP-I 得分为 0.9227，显著优于先前方法（如 Animate124：0.8544），表明图像保真度更优。
• 零初始化有效防止模式崩溃与漂移，在非零初始化场景下，可避免如小熊猫背部完全变黑等异常现象。
• 不同驱动视频可从同一输入图像生成各具特色的可控3D运动，展现出高度的运动多样性与用户控制能力。
• 视频到视频的纹理优化显著减少闪烁现象，提升时间一致性；定性对比显示，逐帧优化会导致明显闪烁。
• 导出的动画网格具备时间一致性，且可在 Blender 中正常渲染，证实该框架在真实世界3D应用中的实际可部署性。