[论文解读] Dancing Avatar: Pose and Text-Guided Human Motion Videos Synthesis with Image Diffusion Model

Bosheng Qin, Wentao Ye+3 more|arXiv (Cornell University)|Aug 15, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

Dancing Avatar 提出了一种新颖的框架，利用预训练的文本到图像（T2I）扩散模型，通过姿态序列和文本提示，生成高质量且时间上连贯的人体动作视频。通过引入帧内、帧间和背景对齐模块，其在视频质量、外观一致性和时间连贯性方面均优于当前最先进的文本到视频方法。

ABSTRACT

The rising demand for creating lifelike avatars in the digital realm has led to an increased need for generating high-quality human videos guided by textual descriptions and poses. We propose Dancing Avatar, designed to fabricate human motion videos driven by poses and textual cues. Our approach employs a pretrained T2I diffusion model to generate each video frame in an autoregressive fashion. The crux of innovation lies in our adept utilization of the T2I diffusion model for producing video frames successively while preserving contextual relevance. We surmount the hurdles posed by maintaining human character and clothing consistency across varying poses, along with upholding the background's continuity amidst diverse human movements. To ensure consistent human appearances across the entire video, we devise an intra-frame alignment module. This module assimilates text-guided synthesized human character knowledge into the pretrained T2I diffusion model, synergizing insights from ChatGPT. For preserving background continuity, we put forth a background alignment pipeline, amalgamating insights from segment anything and image inpainting techniques. Furthermore, we propose an inter-frame alignment module that draws inspiration from an auto-regressive pipeline to augment temporal consistency between adjacent frames, where the preceding frame guides the synthesis process of the current frame. Comparisons with state-of-the-art methods demonstrate that Dancing Avatar exhibits the capacity to generate human videos with markedly superior quality, both in terms of human and background fidelity, as well as temporal coherence compared to existing state-of-the-art approaches.

研究动机与目标

• 解决文本到视频（T2V）扩散模型在生成具有外观一致性和背景一致性的高质量人体动作视频时的局限性。
• 利用预训练的文本到图像（T2I）扩散模型进行视频合成，克服微调后的 T2V 模型中常见的质量下降问题。
• 在姿态变化和动态运动下，确保跨帧的人体外观一致性。
• 在人体动作合成过程中，保持背景在帧间的连续性。
• 通过自回归机制和对齐机制，提升相邻帧之间的时间连贯性。

提出的方法

• 该框架使用预训练的 T2I 扩散模型，自回归地生成视频帧，条件为姿态序列和文本提示。
• 帧内对齐模块将来自 ChatGPT 的文本引导的人体角色知识融合进 T2I 模型，以稳定跨帧的外观。
• 背景对齐流程结合了 Segment Anything 和图像修复技术，以在帧间保持一致的背景。
• 帧间对齐模块通过将前一帧作为当前帧合成的条件引导，以强化时间连贯性。
• 该方法在不重新训练基础扩散架构的前提下，通过微调将外观和背景一致性嵌入 T2I 模型。
• 该流程按顺序处理每一帧，确保与输入姿态和文本对齐，同时保持全局场景的一致性。

实验结果

研究问题

• RQ1 预训练的文本到图像（T2I）扩散模型能否被有效重用于高质量、时间连贯的人体动作视频生成？
• RQ2 在从姿态序列和文本提示合成视频时，如何保持跨帧的人体外观一致性？
• RQ3 在动态人体动作合成过程中，哪些机制可以保持背景连续性？
• RQ4 通过帧间引导的自回归帧生成，能在多大程度上提升视频合成中的时间连贯性？
• RQ5 帧内、帧间和背景对齐模块如何协同提升视频质量和一致性？

主要发现

• Dancing Avatar 在 Pose MSE（0.0012）最低且 Text Alignment CLIP 分数（0.891）最高，表明输入条件对齐效果更优。
• 该模型在 Frame MSE（0.0041）和 Frame L1（0.021）方面记录最低值，表明相邻帧之间具有极强的时间一致性。
• 其 Body CLIP 分数（0.852）和 Background CLIP 分数（0.876）最高，证实了随时间推移内容凝聚力的提升。
• 消融研究显示，若移除帧内对齐模块，Body CLIP 分数将下降 0.065，表明外观一致性显著退化。
• 若缺少帧间对齐模块，Frame MSE 增加 0.0018，Frame L1 增加 0.0032，凸显其在细节层面连贯性中的关键作用。
• 背景对齐至关重要：若省略该模块，Background CLIP 分数将下降 0.112，导致帧间背景发生突兀且不一致的变化。