[论文解读] HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

Xian Liu, Jian Ren+7 more|arXiv (Cornell University)|Oct 12, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

HyperHuman 提出了一种统一的潜在扩散框架，通过联合去噪 RGB、深度和法向图来生成超逼真、可控制的人像图像。通过利用大规模数据集（HumanVerse）和具有共享时间步与空间对齐分支的结构感知扩散模型，该方法在文本到图像的人像生成中实现了最先进的逼真度、多样性与结构一致性。

ABSTRACT

Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/

研究动机与目标

• 解决当前文本到图像模型（如 Stable Diffusion 和 DALL·E 2）难以实现的逼真人像生成中解剖结构一致性和自然姿态的问题。
• 克服现有可控生成方法将姿态、深度图和法向图视为孤立控制条件所导致的结构不一致问题。
• 在多样化的文本和骨骼条件约束下，实现多样化、高保真度的野外人像图像合成，提升逼真度与布局多样性。
• 开发一种统一框架，通过潜在扩散模型联合建模图像外观、空间关系与几何结构。
• 通过结构引导的精炼器提升视觉质量，利用预测的结构条件增强高分辨率图像生成。

提出的方法

• 构建一个大规模的人像中心数据集 HumanVerse，包含 34000 万张野外图像，附带全面的标注：人体姿态、深度图、表面法向图和图像描述。
• 设计一种潜在结构扩散模型，通过统一网络同时去噪 RGB、深度图和表面法向图，采用复制的 U-Net 块作为结构专家分支。
• 通过为所有分支采样相同噪声时间步并使用通道拼接实现跨模态特征融合，确保模态间的空间对齐。
• 采用改进的噪声调度，引入零终端 SNR，以减少单调结构图（深度图与法向图）中的低频信息泄漏。
• 引入一种结构引导的精炼器，将预测的结构条件进行组合，生成更高分辨率（1024×1024）且细节更丰富的图像。
• 采用多任务损失端到端训练模型，结合深度图与法向图的 L2 误差以及 RGB 图像的标准扩散目标。

Figure 1: Example Results and Visual Comparison. Top: The proposed HyperHuman simultaneously generates the coarse RGB, depth, normal, and high-resolution images conditioned on text and skeleton. Both photo-realistic images and stylistic renderings can be created. Bottom: We compare with recent T2I m

实验结果

研究问题

• RQ1 在统一的扩散框架中联合去噪 RGB、深度图与表面法向图，是否能显著提升生成人像的逼真度与结构一致性？
• RQ2 建模从骨骼姿态到精细几何细节的多粒度人体结构，对文本到图像生成的质量与多样性有何影响？
• RQ3 使用共享噪声调度与空间对齐分支在多大程度上提升了特征融合效果与外观与结构之间的一致性？
• RQ4 结构引导的精炼器是否能通过组合预测的结构条件有效增强高分辨率图像生成？
• RQ5 与现有 T2I 模型及可控生成基线相比，该方法在逼真度、多样性与用户偏好方面表现如何？

主要发现

• HyperHuman 在 COCO-Val Human 数据集上取得 17.18 的 Fréchet Inception Distance (FID) 和 7.82 的 CLIP-FID，优于所有基线模型，包括 SD 2.1、SDXL 和 ControlNet。
• 消融实验表明，通过两个 DownBlock 和 UpBlock 复制块同时去噪 RGB、深度图与法向图可获得最佳性能（FID: 17.18，CLIP-FID: 7.82）。
• 若为各模态使用不同时间步，性能显著下降（FID: 29.36），证实同步去噪对特征融合的重要性。
• 与消融变体相比，该模型显著降低了深度图与法向图的预测误差（L2: 502.1 和 121.6），表明空间对齐能力得到提升。
• 用户偏好研究表明，89.24% 的用户更偏好 HyperHuman 而非 SD 2.1，98.06% 更偏好 HyperHuman 而非 T2I-Adapter，99.08% 更偏好 HyperHuman 而非 HumanSD，证实其在逼真度与可控性方面的优越性。
• 该框架成功在 1024×1024 分辨率下生成逼真照片级图像与风格化图像，展示了在多样化条件下的可扩展性与鲁棒性。

Figure 2: Overview of HyperHuman Framework. In Latent Structural Diffusion Model ( purple ), the image $\mathbf{x}$ , depth $\mathbf{d}$ , and surface-normal $\mathbf{n}$ are jointly denoised conditioning on caption $\mathbf{c}$ and pose skeleton $\mathbf{p}$ . For the notation simplicity, we denote