[论文解读] HumanDiffusion: a Coarse-to-Fine Alignment Diffusion Framework for Controllable Text-Driven Person Image Generation

Kaiduo Zhang, Muyi Sun+5 more|arXiv (Cornell University)|Nov 11, 2022

Human Pose and Action Recognition被引用 12

一句话总结

HumanDiffusion 提出了一种基于扩散模型的框架，用于可控的、文本驱动的人像图像生成，采用开放词汇描述和语义姿态图作为输入。它通过一种自粗到精的对齐策略，结合样式化记忆检索（SMR）模块与多尺度跨模态对齐（MCA）模块，在 DeepFashion 数据集上实现了图像质量、保真度和可编辑性的最先进性能。

ABSTRACT

Text-driven person image generation is an emerging and challenging task in cross-modality image generation. Controllable person image generation promotes a wide range of applications such as digital human interaction and virtual try-on. However, previous methods mostly employ single-modality information as the prior condition (e.g. pose-guided person image generation), or utilize the preset words for text-driven human synthesis. Introducing a sentence composed of free words with an editable semantic pose map to describe person appearance is a more user-friendly way. In this paper, we propose HumanDiffusion, a coarse-to-fine alignment diffusion framework, for text-driven person image generation. Specifically, two collaborative modules are proposed, the Stylized Memory Retrieval (SMR) module for fine-grained feature distillation in data processing and the Multi-scale Cross-modality Alignment (MCA) module for coarse-to-fine feature alignment in diffusion. These two modules guarantee the alignment quality of the text and image, from image-level to feature-level, from low-resolution to high-resolution. As a result, HumanDiffusion realizes open-vocabulary person image generation with desired semantic poses. Extensive experiments conducted on DeepFashion demonstrate the superiority of our method compared with previous approaches. Moreover, better results could be obtained for complicated person images with various details and uncommon poses.

研究动机与目标

• 实现灵活、用户友好的文本驱动人像图像生成，使用自由形式的描述而非预设词汇表。
• 解决先前方法在复杂人体外观的多模态特征融合与对齐方面的局限性。
• 在复杂姿态下提升生成多样化、细节丰富的图像的质量与结构一致性。
• 支持可编辑生成，允许通过文本或语义图对局部区域进行编辑，同时保持未更改区域的完整性。
• 实现端到端训练的紧凑架构，便于实际部署。

提出的方法

• 提出一种样式化记忆检索（SMR）模块，利用解耦记忆网络在扩散过程前优化外观特征，提升细粒度特征蒸馏效果。
• 采用多尺度跨模态对齐（MCA）模块，在多个分辨率层级上实现文本与图像表征之间的自粗到精的特征对齐。
• 使用端到端训练的扩散模型架构，结合交叉注意力机制，使 CLIP 的文本嵌入在每个去噪步骤中与图像特征对齐。
• 引入双去噪策略——全局与局部去噪，用于部分编辑，其中文本提示引导局部特征优化，同时保留图像其余部分。
• 利用语义姿态图作为条件先验，指导生成过程中的空间布局与结构。
• 在编辑过程中采用基于 CLIP 的特征距离最小化，使文本提示与目标图像区域对齐（例如，将夹克颜色从灰色更改为蓝色）。

实验结果

研究问题

• RQ1 基于扩散模型的框架能否实现使用开放词汇文本描述和语义姿态图的高保真、可控人像图像生成？
• RQ2 如何在多尺度和多分辨率下提升文本与图像特征之间的跨模态对齐？
• RQ3 该模型能否在先前方法失效的复杂姿态和遮挡场景下生成多样化、高质量的人像图像？
• RQ4 该模型在不改变图像其余部分的前提下，能在多大程度上支持灵活的、局部化的编辑（通过文本或语义图）？
• RQ5 所提出的自粗到精对齐机制在图像质量与文本描述对齐方面相较于现有方法表现如何？

主要发现

• HumanDiffusion 在 DeepFashion 数据集上实现了 31.28 的 Fréchet Inception Distance（FID），优于 Text2Human（30.89）及其他基线模型，图像质量表现更优。
• 该模型的 LPIPS 得分为 0.2001（更低），MS-SSIM 得分为 0.7736（更高），表明其在感知保真度和结构相似性方面优于先前方法。
• 与 Text2Human 及其他 GAN 基模型相比，HumanDiffusion 生成的图像更具照片级真实感与多样性，尤其在侧脸、交叉双腿等复杂场景中表现更优。
• 在用户偏好评估中，HumanDiffusion 在图像照片真实感与文本描述相似性方面得分更高，优于基线模型。
• 该模型成功实现了局部编辑功能，例如改变衣物颜色或风格，同时保持图像其余部分不变，展现出强大的可控性。
• 在遮挡姿态或复杂纹理等挑战性场景下，HumanDiffusion 有效减少了如腿部混淆和不自然边缘失真等伪影，而这些问题在 Text2Human 中较为常见。