[论文解读] HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting

Xian Liu, Xiaohang Zhan+6 more|arXiv (Cornell University)|Nov 28, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

HumanGaussian 提出了一种基于 3D 高斯溅射（3DGS）的文本到 3D 人体生成框架，结合结构感知得分蒸馏采样（SDS）与渐进式负向提示引导。通过在 SMPL-X 网格上初始化高斯分布，并利用双分支（RGB + 深度）SDS，该方法实现了高保真度、细节丰富的 3D 人体，具备逼真的外观与精细的几何结构——在质量和效率方面优于先前方法，同时在低无分类器引导（CFG）尺度下避免了过度饱和问题。

ABSTRACT

Realistic 3D human generation from text prompts is a desirable yet challenging task. Existing methods optimize 3D representations like mesh or neural fields via score distillation sampling (SDS), which suffers from inadequate fine details or excessive training time. In this paper, we propose an efficient yet effective framework, HumanGaussian, that generates high-quality 3D humans with fine-grained geometry and realistic appearance. Our key insight is that 3D Gaussian Splatting is an efficient renderer with periodic Gaussian shrinkage or growing, where such adaptive density control can be naturally guided by intrinsic human structures. Specifically, 1) we first propose a Structure-Aware SDS that simultaneously optimizes human appearance and geometry. The multi-modal score function from both RGB and depth space is leveraged to distill the Gaussian densification and pruning process. 2) Moreover, we devise an Annealed Negative Prompt Guidance by decomposing SDS into a noisier generative score and a cleaner classifier score, which well addresses the over-saturation issue. The floating artifacts are further eliminated based on Gaussian size in a prune-only phase to enhance generation smoothness. Extensive experiments demonstrate the superior efficiency and competitive quality of our framework, rendering vivid 3D humans under diverse scenarios. Project Page: https://alvinliu0.github.io/projects/HumanGaussian

研究动机与目标

• 解决从文本提示生成具有精细几何结构与逼真外观的高保真 3D 人体的挑战。
• 克服基于网格或神经场的现有 3D 生成方法在细节捕捉能力差或训练成本高的局限性。
• 将原本用于重建任务的 3D 高斯溅射（3DGS）适配为基于文本的 3D 生成框架，提升优化稳定性与结构保真度。
• 通过引入渐进式负向提示引导与尺寸条件剪枝，缓解扩散模型在 3D 生成中出现的过度饱和与漂浮伪影问题。
• 仅使用文本提示即可实现高效、可控的 3D 人体生成，无需多视角监督或复杂优化流程。

提出的方法

• 结构感知 SDS 在 SMPL-X 网格上初始化高斯分布，并通过来自 RGB 与深度空间的多模态得分函数，联合优化外观与几何结构。
• 双分支 SDS 将预训练的 Stable Diffusion 模型扩展为可同时去噪 RGB 与深度图像，实现在优化过程中联合纹理与结构引导。
• 渐进式负向提示引导将 SDS 损失分解为更嘈杂的生成得分与更清晰的分类器得分，后者在训练过程中逐步降低，以避免在低 CFG 尺度（如 7.5）下出现过度饱和。
• 尺寸条件高斯剪枝在独立的剪枝阶段应用，通过移除低于尺寸阈值的高斯分布，有效消除微小的漂浮伪影。
• 该框架利用 3DGS 的高效光栅化与自适应密度控制，其中密度增强与剪枝由人体固有结构与多视角一致性共同引导。
• 该方法将人体先验（SMPL-X 与骨骼姿态）直接整合进 SDS 优化过程，以提升几何一致性并减少伪影。

Figure 2 : Overview of the proposed HumanGaussian Framework. We generate high-quality 3D humans from text prompts with the neural representation of 3D Gaussian Splatting (3DGS). In Structure-Aware SDS , we start from the SMPL-X prior to densely sample Gaussians on the human mesh surface as initial c

实验结果

研究问题

• RQ1 3D 高斯溅射能否被有效适配为基于文本的 3D 人体生成框架，实现高几何保真度与外观保真度？
• RQ2 SMPL-X 与姿态引导等结构先验如何提升基于 3DGS 的生成中优化的稳定性与细节捕捉能力？
• RQ3 渐进式负向提示引导能否在低无分类器引导（CFG）尺度下减少过度饱和并提升真实感？
• RQ4 与单分支监督相比，双分支（RGB + 深度）SDS 在几何一致性与纹理真实感方面有何提升？
• RQ5 尺寸条件剪枝在多大程度上能消除基于 3DGS 的 3D 生成中的漂浮伪影？

主要发现

• HumanGaussian 在 17 名用户评估者中取得了最高的平均意见得分（MOS）：纹理质量为 4.24，几何质量为 3.88，文本对齐度为 4.71，显著优于先前方法。
• 通过采用渐进式负向提示引导，该方法有效缓解了过度饱和问题，使在 CFG 尺度 7.5 时也能生成高质量结果，而无需依赖如 100 这类较大的值。
• 尺寸条件剪枝能有效消除人体表面附近的漂浮伪影，提升最终 3D 输出的视觉平滑度与真实感。
• 双分支 SDS（RGB + 深度）相比单分支监督，在肢体与头发等困难区域展现出更优的几何正则化效果。
• 将 SMPL-X 作为初始化先验显著提升了结构一致性，并减少了基线 3DGS 生成中常见的多面 Janus 问题。
• 即使在引入多视角或形状先验的情况下，HumanGaussian 在效率与质量方面仍优于基于 3DGS 的基线方法以及 DreamHuman 和 TADA 等先前 SOTA 方法。

Figure 3 : Visual Comparisons with Text-to-3D and 3D Human Models. We compare with recent state-of-the-art baselines on five different prompts, each showing two camera views. Note that the textural unrealism and blurriness are highlighted with yellow arrows; the geometric artifacts are highlighted w