[论文解读] DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation
DreamGaussian 将三维高斯点绘(Gaussian splatting)应用于生成任务,利用两阶段流水线在几分钟内从图像或文本获得带纹理的网格,实现快速且高质量的三维资产创建。
Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.
研究动机与目标
- 推动无需对每个样本进行长时间优化即可实现高效的开放词汇表图像到 3D 和文本到 3D 资产创建。
- 利用 3D 高斯点绘来加速几何与外观优化。
- 通过网格提取和 UV 空间纹理细化,实现高质量带纹理的网格导出。
提出的方法
- 将三维内容表示为一组可优化的 3D 高斯(中心、尺度、旋转、不透明度、颜色)。
- 使用高斯的渐进密化(周期性分割)以对齐生成优化的进展。
- 用分数蒸馏采样(SDS)结合二维扩散先验,对高斯进行优化,以实现图像到 3D 和文本到 3D 任务。
- 通过分块局部密度查询和 Marching Cubes 从高斯中提取带纹理的网格,随后通过颜色反投影来烘焙纹理。
- 在 UV 空间对网格纹理进行扩散引导的图像空间监督阶段的细化,使用 MSE 损失以避免 SDS 引起的纹理伪影。
- 第二阶段采用基于图像空间的细化(受 SDEdit 启发),对粗略渲染进行扰动,使用 2D 扩散先验去噪,并通过像素级损失优化纹理。
实验结果
研究问题
- RQ1与基于 NeRF 的方法相比,生成性 3D 高斯是否能够为开放词汇表的图像到 3D 与文本到 3D 生成提供更快的收敛?
- RQ2在生成场景中,3D 高斯的渐进密化是否提升优化效率?
- RQ3一个鲁棒的流水线是否能够将基于高斯的重建转化为适用于下游使用的高质量带纹理网格?
- RQ4UV 空间纹理细化是否在从高斯提取的网格上超越基于 SDS 的纹理细化,提升纹理保真度?
主要发现
- DreamGaussian 能在单视图下约 2 分钟内获得高质量带纹理网格,约比现有方法快 10×。
- 阶段 1(高斯生成)在单张 GPU 上用于图像到 3D 的收敛约 500 步,文本到 3D 为 2 分钟,训练过程中将 5000 个初始高斯密化。
- 通过局部密度查询和反投影着色高效从三维高斯提取网格,使 Marching Cubes 表面提取和纹理烘焙成为可能。
- 通过扩散引导的图像空间监督阶段的 UV 空间纹理细化在纹理细节上有所改进,且没有 SDS 导致的 UV 伪影。
- 定性与定量结果表明 DreamGaussian 在生成速度与质量之间取得平衡,优于仅推理的方法,在保真度上接近基于优化的方法,同时速度超过 10×。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。