[论文解读] HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation

Xin Huang, Ruizhi Shao+5 more|arXiv (Cornell University)|Oct 2, 2023

Human Motion and Animation被引用 5

一句话总结

HumanNorm 提出了一种新颖的法线扩散模型，以提升2D文本到图像扩散模型在高质量3D人体生成中的表现。通过训练一个法线适应的扩散模型用于几何建模，以及一个法线对齐的扩散模型用于纹理生成，该方法能够生成细节丰富、逼真的3D人体，显著提升几何保真度与自然外观，在几何与纹理质量方面均优于现有方法。

ABSTRACT

Recent text-to-3D methods employing diffusion models have made significant advancements in 3D human generation. However, these approaches face challenges due to the limitations of text-to-image diffusion models, which lack an understanding of 3D structures. Consequently, these methods struggle to achieve high-quality human generation, resulting in smooth geometry and cartoon-like appearances. In this paper, we propose HumanNorm, a novel approach for high-quality and realistic 3D human generation. The main idea is to enhance the model's 2D perception of 3D geometry by learning a normal-adapted diffusion model and a normal-aligned diffusion model. The normal-adapted diffusion model can generate high-fidelity normal maps corresponding to user prompts with view-dependent and body-aware text. The normal-aligned diffusion model learns to generate color images aligned with the normal maps, thereby transforming physical geometry details into realistic appearance. Leveraging the proposed normal diffusion model, we devise a progressive geometry generation strategy and a multi-step Score Distillation Sampling (SDS) loss to enhance the performance of 3D human generation. Comprehensive experiments substantiate HumanNorm's ability to generate 3D humans with intricate geometry and realistic appearances. HumanNorm outperforms existing text-to-3D methods in both geometry and texture quality. The project page of HumanNorm is https://humannorm.github.io/.

研究动机与目标

• 解决现有文本到3D方法依赖文本到图像扩散模型所导致的3D结构感知缺失问题，这些方法生成的3D人体通常呈现平滑、卡通化特征。
• 通过在生成流程中整合几何先验，克服诸如Janus伪影、过度饱和纹理以及虚假3D细节（如皱纹与头发中的伪影）等问题。
• 通过引入在多视角法线图上训练的法线适应扩散模型，并结合视图依赖与身体感知的文本提示，提升2D扩散模型对3D几何的理解能力。
• 通过法线对齐的扩散模型将外观生成与表面法线对齐，减少几何错位与过度饱和，从而增强纹理真实感。
• 开发一种渐进式几何生成策略与多步Score Distillation Sampling (SDS)损失，以稳定训练过程并提升输出质量。

提出的方法

• 利用3D人体扫描生成的多视角法线图，结合视图依赖与身体感知的文本提示，训练法线适应扩散模型，以生成高保真、几何感知的法线图。
• 引入深度适应扩散模型，通过提供深度信息来补充法线图，减少法线模糊区域（如耳朵）的伪影。
• 在几何生成阶段同时使用法线与深度的SDS损失，以引导3D重建过程，确保几何细节的准确性。
• 实施渐进式几何生成策略，逐步优化3D网格，降低噪声并提升稳定性。
• 训练法线对齐的扩散模型，将预测的法线图作为条件输入，生成与几何褶皱和明暗关系对齐的彩色图像。
• 在纹理生成阶段应用多步SDS损失，通过多轮扩散步骤恢复图像，减轻过度饱和问题并增强真实感。

实验结果

研究问题

• RQ1 法线适应扩散模型是否能有效提升2D扩散模型在文本到3D生成中对3D几何的理解能力？
• RQ2 法线图与深度图的融合在减少Janus脸伪影与平滑表面等几何伪影方面效果如何？
• RQ3 法线对齐的扩散模型是否能通过将外观与几何细节对齐，显著提升纹理真实感？
• RQ4 多步SDS损失是否优于单步SDS，在减轻过度饱和与增强纹理自然度方面表现更优？
• RQ5 渐进式几何生成策略在多大程度上提升了3D人体生成的稳定性和质量？

主要发现

• HumanNorm 生成的3D人体几何质量显著提升，消除了Janus伪影，实现了面部与服装细节的高保真几何重建。
• 法线适应扩散模型成功从视图依赖与身体感知的提示中生成高保真法线图，支持精确的3D几何重建。
• 深度适应扩散模型有效减少了几何模糊区域（如耳朵）的伪影，消融实验表明加入深度SDS损失可进一步提升几何质量。
• 法线对齐扩散模型生成的纹理更锐利、更逼真，且与几何褶皱对齐，其外观保真度优于标准文本到图像扩散模型。
• 多步SDS损失有效减轻了过度饱和问题，相比单步SDS，生成的纹理在色彩与光照表现上更具自然感。
• HumanNorm 在CLIP分数与用户研究中均表现优异，表明其生成结果与文本提示匹配度更高，且在视觉真实感方面获得更高评价。