[论文解读] DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion

Johanna Karras, Aleksander Holynski+2 more|arXiv (Cornell University)|Apr 12, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

DreamPose 是一种基于扩散模型的方法，通过在 Stable Diffusion 中引入姿态和图像条件控制，从单张静态图像和人体姿态序列生成逼真的时尚视频。它通过双分支 CLIP-VAE 编码器、五帧姿态条件控制以及对 UNet 和 VAE 解码器进行主体特定微调，实现了在时间一致性、外观保真度和运动真实感方面的最先进性能。

ABSTRACT

We present DreamPose, a diffusion-based method for generating animated fashion videos from still images. Given an image and a sequence of human body poses, our method synthesizes a video containing both human and fabric motion. To achieve this, we transform a pretrained text-to-image model (Stable Diffusion) into a pose-and-image guided video synthesis model, using a novel fine-tuning strategy, a set of architectural changes to support the added conditioning signals, and techniques to encourage temporal consistency. We fine-tune on a collection of fashion videos from the UBC Fashion dataset. We evaluate our method on a variety of clothing styles and poses, and demonstrate that our method produces state-of-the-art results on fashion video animation.Video results are available on our project page.

研究动机与目标

• 解决尽管时尚摄影普遍存在的背景下，真实且时间一致的时尚视频仍然稀缺的问题。
• 仅使用单张输入图像和姿态序列，实现对人类动作和布料动态的精确控制，同时保持高保真度图像动画。
• 克服现有视频扩散模型的局限性，如时间一致性差以及仅依赖文本条件控制的问题。
• 通过将姿态和图像条件整合到预训练扩散模型中，提升时尚视频合成中的外观保真度和运动平滑度。
• 在无需大量数据或复杂多阶段网络的情况下，实现主体特定的动画生成。

提出的方法

• 采用新颖的两阶段策略微调预训练的文生图 Stable Diffusion 模型：首先在 UBC Fashion 数据集上进行微调，随后在单张输入图像上进行主体特定微调。
• 将 CLIP 文本编码器替换为双分支 CLIP-VAE 图像编码器与适配模块，以联合建模并重塑图像嵌入与潜在嵌入，从而提升外观保真度。
• 通过以目标帧为中心的五个连续姿态序列对去噪 U-Net 进行条件控制，增强时间一致性。
• 提出一种新型架构，通过修改注意力机制和输入注入路径，同时支持图像和姿态条件控制。
• 对 UNet、适配模块和 VAE 解码器进行主体特定微调，以在帧间保持身份和纹理细节。
• 在每个去噪步骤中，将姿态表示与输入噪声拼接，引入噪声注入机制。

Figure 2: Architecture Overview. We modify the original Stable Diffusion architecture in order to enable image and pose conditioning. First, we replace the CLIP text encoder with a dual CLIP-VAE image encoder and adapter module (shown in the blue box). The adapter module jointly models and reshapes

实验结果

研究问题

• RQ1 预训练的图像扩散模型能否被有效适配，以从单张图像和姿态序列生成高质量、逼真的时尚视频？
• RQ2 与单帧姿态条件控制相比，使用多帧连续姿态条件控制在提升时间一致性方面有何优势？
• RQ3 对 UNet 和 VAE 解码器进行主体特定微调，在多大程度上提升了外观保真度并减少了闪烁现象？
• RQ4 与标准 CLIP 图像编码器相比，双 CLIP-VAE 编码器在保留衣物和身份的精细细节方面表现如何？
• RQ5 该方法的失败模式是什么？是否可通过改进姿态估计或引入额外监督来缓解？

主要发现

• 完整版 DreamPose 模型在所有指标上均表现最佳：L1 (0.019)，SSIM (0.900)，VGG (0.207)，LPIPS (0.056)，优于消融实验变体。
• 仅使用 CLIP 图像编码器的消融实验（Ours_CLIP）表现出显著的外观退化，表明双 CLIP-VAE 编码器对细节保留至关重要。
• 对 VAE 解码器进行主体特定微调显著提升了图像锐度并减少了过拟合，如 Ours_No-VAE-FT 相较于 Ours_CLIP 的指标改善所示。
• 仅使用一帧姿态（Ours_1-pose）导致闪烁和运动不稳，尽管定量指标相近，凸显多帧姿态上下文的重要性。
• 对一帧姿态变体应用时间平滑处理（Ours_smooth）导致性能急剧下降，表明运动伪影更应通过架构设计而非后处理解决。
• 失败案例包括肢体与衣物融合、幻觉特征出现以及背面姿态下的方向错位，表明姿态估计和几何推理仍存在局限。

Figure 3: Qualitative Results. We showcase the results of our method on a variety of input frames and poses. DreamPose is capable of synthesizing photorealistic video frames consistent with a diverse range of patterns, fabric types, person identities, clothing shapes, and viewpoints.