[论文解读] DisCo: Disentangled Control for Realistic Human Dance Generation

Tan Wang, Linjie Li+7 more|arXiv (Cornell University)|Jun 30, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

DisCo 提出了一种用于生成逼真人类舞蹈视频的解耦控制框架，显著提升了在社交媒体风格舞蹈视频中的泛化能力和组合性。通过使用 VAE 编码器和交叉注意力机制，将前景（主体）、背景和姿态的控制信号进行解耦，并通过代理重建任务在人体属性上进行预训练，DisCo 在 TikTok 舞蹈数据集上实现了 SOTA 性能，FID 为 50.68，FVD 为 353.35。

ABSTRACT

Generative AI has made significant strides in computer vision, particularly in text-driven image/video synthesis (T2I/T2V). Despite the notable advancements, it remains challenging in human-centric content synthesis such as realistic dance generation. Current methodologies, primarily tailored for human motion transfer, encounter difficulties when confronted with real-world dance scenarios (e.g., social media dance), which require to generalize across a wide spectrum of poses and intricate human details. In this paper, we depart from the traditional paradigm of human motion transfer and emphasize two additional critical attributes for the synthesis of human dance content in social media contexts: (i) Generalizability: the model should be able to generalize beyond generic human viewpoints as well as unseen human subjects, backgrounds, and poses; (ii) Compositionality: it should allow for the seamless composition of seen/unseen subjects, backgrounds, and poses from different sources. To address these challenges, we introduce DISCO, which includes a novel model architecture with disentangled control to improve the compositionality of dance synthesis, and an effective human attribute pre-training for better generalizability to unseen humans. Extensive qualitative and quantitative results demonstrate that DisCc can generate high-quality human dance images and videos with diverse appearances and flexible motions. Code is available at https://disco-dance.github.io/.

研究动机与目标

• 解决现有人体动作迁移方法在生成社交媒体风格多样且逼真的舞蹈视频时的局限性，这些方法在复杂姿态、未见主体或新颖组合下常表现不佳。
• 提升对未见人体主体、背景和姿态的泛化能力，超越标准训练数据的范围。
• 通过允许来自不同来源的前景、背景和姿态的任意组合，实现组合性。
• 通过一种新颖的人体属性预训练策略，克服高质量舞蹈视频数据集中的数据稀缺问题。

提出的方法

• 引入一种解耦控制架构，使用独立编码器：背景使用 VAE，姿态使用轻量级 CNN，主体使用 CLIP 图像嵌入，所有信号通过 denoising U-Net 中的交叉注意力机制进行融合。
• 提出一种新颖的人体属性预训练（HAP）任务，模型从分离的前景和背景特征中重建完整图像，从而提升对未见人体属性的鲁棒性。
• 使用来自 Stable Diffusion 的预训练 VQ-VAE 编码背景参考图像，相比随机卷积层，可生成更丰富、更具描述性的表征。
• 通过在 HAP 预训练中引入姿态标注，将姿态控制与文本条件解耦，降低对配对图像-文本数据的依赖。
• 通过包含前景和背景的参考图像对模型进行微调，结合无分类器引导以提升生成质量。
• 利用大规模未配对的人体图像集合进行 HAP 预训练，以增强对未见个体的零样本泛化能力。

实验结果

研究问题

• RQ1 基于扩散模型的生成方法能否实现高保真、可调控的舞蹈生成，并泛化到未见的人体主体、背景和姿态？
• RQ2 将主体、背景和姿态的控制信号解耦，是否能提升视频生成中的组合性？
• RQ3 通过代理预训练任务（从分离的前景和背景特征重建图像）是否能提升泛化能力，而无需依赖配对的舞蹈视频数据？
• RQ4 背景编码器的选择（如 VQ-VAE 与随机卷积层）如何影响生成质量和一致性？
• RQ5 使用来自文本到图像生成的预训练检查点初始化姿态 ControlNet，是否会在基于图像参考的舞蹈生成中导致性能下降？

主要发现

• DisCo 在 TikTok 舞蹈数据集上实现了 50.68 的 Fréchet Inception Distance (FID)，显著优于基线模型（61.06）和消融模型。
• 通过人体属性预训练（HAP），DisCo 将 FVD 降低至 353.35，表明视频级保真度和时序一致性得到提升。
• 使用预训练的 VQ-VAE 进行背景编码，使 FID 从 83.53（随机卷积层）降低至 65.14，证明了语义丰富表征的优势。
• 当与 HAP 结合时，使用预训练的 ControlNet-Pose 检查点初始化姿态 ControlNet 的性能反而劣于使用随机 U-Net 权重，表明存在领域差异。
• 消融实验表明，将姿态整合进 HAP 与不包含姿态的 HAP 性能相似，但需额外标注工作，表明姿态并非 HAP 获益的关键因素。
• 使用尺度为 1.5 的无分类器引导在图像和视频指标上均取得最佳定量结果，确认了在多样性与保真度之间达到最优权衡。