[论文解读] HumanGAN: A Generative Model of Humans Images

Kripasindhu Sarkar, Lingjie Liu+2 more|arXiv (Cornell University)|Mar 11, 2021

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 4

一句话总结

HumanGAN 是一种新型生成对抗网络模型，通过在与姿态无关的外观空间中编码特定部位的潜在向量，并将其变形至不同姿态，实现了对人体图像生成的解耦化、局部化控制。该模型在 512×512 分辨率下实现了全局外观采样、姿态迁移和局部生成方面的最先进性能，具有高度的真实感与多样性。

ABSTRACT

Generative adversarial networks achieve great performance in photorealistic image synthesis in various domains, including human images. However, they usually employ latent vectors that encode the sampled outputs globally. This does not allow convenient control of semantically-relevant individual parts of the image, and is not able to draw samples that only differ in partial aspects, such as clothing style. We address these limitations and present a generative model for images of dressed humans offering control over pose, local body part appearance and garment style. This is the first method to solve various aspects of human image generation such as global appearance sampling, pose transfer, parts and garment transfer, and parts sampling jointly in a unified framework. As our model encodes part-based latent appearance vectors in a normalized pose-independent space and warps them to different poses, it preserves body and clothing appearance under varying posture. Experiments show that our flexible and general generative method outperforms task-specific baselines for pose-conditioned image generation, pose transfer and part sampling in terms of realism and output resolution.

研究动机与目标

• 解决现有基于 GAN 的人体图像生成模型在细粒度、解耦控制方面的不足。
• 在保持身份和外观一致的前提下，实现对身体部位和服装风格的独立采样与操作。
• 将多种人体图像生成任务——全局采样、姿态迁移、局部采样和服装迁移——统一到单一生成框架中。
• 克服现有方法在缺乏随机性或无法实现局部外观编辑方面的局限性。
• 在保持身份持久性和姿态变化下外观真实感的前提下，实现高保真度的 512×512 分辨率图像合成。

提出的方法

• 采用条件变分自编码器（VAE）框架，建模在与姿态无关的外观空间中特定部位潜在向量的后验分布。
• 使用对应于各个身体部位（如头部、上半身等）的基于部位的噪声向量（$\bm{z}[k]$）来编码外观，实现局部控制。
• 利用 DensePose 监督对编码后的部位向量进行空间变形，使其在图像重建前与目标姿态对齐。
• 通过组合身体和服装部位向量构建噪声嵌入，以实现身体与服装的联合生成及风格迁移。
• 采用高保真度生成器网络，基于变形后的潜在向量合成逼真的图像。
• 提出一种新颖的解耦策略，通过将潜在向量基于身体部位进行条件化并独立变形，实现姿态与外观的解耦。

实验结果

研究问题

• RQ1 单一生成模型能否同时支持人体图像生成中的全局外观采样、姿态迁移和局部编辑？
• RQ2 如何在可微且可控的方式下，有效将姿态不变的外观表征从姿态相关的变换中解耦？
• RQ3 特定部位的潜在向量在不影响图像其余部分的前提下，能在多大程度上实现多样化且逼真的单一部位采样？
• RQ4 该模型能否在真实感和分辨率（512×512）方面均达到最先进水平，同时支持多种编辑任务？
• RQ5 在姿态迁移和局部采样方面，该模型与任务专用基线相比，在身份保持和视觉质量方面表现如何？

主要发现

• HumanGAN 在全局外观采样任务中优于任务专用基线，在 512×512 分辨率下实现了更高的真实感与多样性。
• 用户研究表明，在姿态迁移中的身份保持方面，65.62% 的参与者更偏好 HumanGAN，而 CBI 和 NHRR 分别为 21.88% 和 12.5%。
• 在真实感方面，81.25% 的用户更偏好 HumanGAN，显著优于 CBI（6.25%）和 NHRR（12.5%）。
• 定量评估显示，与 NoParts 基线相比，Variation–Part 指标提升 22%（0.37 vs. 0.45），Variation–Rest 指标降低 75%（0.11 vs. 0.44），证实了更优的局部解耦性能。
• 该模型通过组合来自独立身体和服装图像的特定部位潜在向量，成功实现了服装迁移，生成结果具有一致性和真实性。
• 尽管存在偶尔的伪部位置交错和性别偏见（归因于 DeepFashion 数据集）等局限性，HumanGAN 在所有评估任务中均表现出稳健性能。