[论文解读] MagicAvatar: Multimodal Avatar Generation and Animation

Jianfeng Zhang, Hanshu Yan+3 more|arXiv (Cornell University)|Aug 28, 2023

Human Motion and Animation被引用 5

一句话总结

MagicAvatar 提出了一种两阶段的多模态角色生成与动画框架，将多模态输入（文本、视频、音频）解耦为运动信号，进而生成高保真、时间一致的角色视频。该方法支持文本与视频引导的角色创建，并通过 DreamBooth 微调仅用少量图像即可实现角色个性化，从而在保持身份一致性的同时实现高质量的视觉效果。

ABSTRACT

This report presents MagicAvatar, a framework for multimodal video generation and animation of human avatars. Unlike most existing methods that generate avatar-centric videos directly from multimodal inputs (e.g., text prompts), MagicAvatar explicitly disentangles avatar video generation into two stages: (1) multimodal-to-motion and (2) motion-to-video generation. The first stage translates the multimodal inputs into motion/ control signals (e.g., human pose, depth, DensePose); while the second stage generates avatar-centric video guided by these motion signals. Additionally, MagicAvatar supports avatar animation by simply providing a few images of the target person. This capability enables the animation of the provided human identity according to the specific motion derived from the first stage. We demonstrate the flexibility of MagicAvatar through various applications, including text-guided and video-guided avatar generation, as well as multimodal avatar animation.

研究动机与目标

• 解决复杂且耗时的角色生成流程对虚拟现实、游戏和社交媒体中新手用户的使用障碍。
• 克服收集包含共现多模态输入（如文本、视频、音频）并配对运动与外观数据集的困难。
• 通过将多模态输入转换与视频生成解耦，实现灵活的角色创建，提升训练效率与模型泛化能力。
• 通过仅使用少量图像注入特定人类身份，实现个性化角色动画，确保生成视频中身份的一致性。
• 在文本引导、视频引导和多模态角色动画应用中展示框架的多功能性，具备出色的视觉真实感与时间一致性。

提出的方法

• 将角色生成分解为两个阶段：(1) 多模态到运动，将文本、视频或音频输入转换为运动信号（如姿态、深度、DensePose），(2) 运动到视频，利用这些信号驱动视频生成。
• 使用预训练模型（如 MDM 用于文本到运动，MiDaS/OpenPose 用于视频到运动提取），实现模块化且可扩展的输入处理。
• 以 MagicEdit 作为核心的运动到视频生成器，其在训练中解耦内容、结构与运动，确保高保真且时间一致的视频合成。
• 通过使用目标人物的 5 张图像对 DreamBooth 模型进行 500 步微调，将主体身份注入生成过程，从而在生成帧中保持身份一致性。
• 在运动到视频生成过程中同时依赖运动信号和描述外观与背景的文本提示，实现可控且多样的角色视频输出。
• 在第一阶段独立支持多种输入模态，避免对联合多模态数据集的依赖，简化数据收集与模型训练。

实验结果

研究问题

• RQ1 两阶段框架能否有效解耦多模态输入转换与角色视频生成，从而提升训练效率与模型泛化能力？
• RQ2 从多样化输入（文本、视频、音频）中提取的运动信号，在生成高保真、时间一致的角色视频方面表现如何？
• RQ3 仅使用少量目标主体图像，在生成角色动画中实现个性化并保持身份一致性，其效果能达到何种程度？
• RQ4 该框架能否支持灵活的应用，如文本引导、视频引导和多模态角色动画，且保持一致的视觉质量？
• RQ5 将运动生成与视频生成解耦，是否能降低从稀疏或多样化输入模态中学习的复杂性？

主要发现

• 两阶段设计成功将多模态输入处理与视频生成解耦，使各模态可独立使用预训练模型，无需共现多模态数据集。
• 使用 MDM 进行文本到运动生成可产生有效的运动信号，从而实现逼真的角色动画，如在提示 'a person is doing handstand' 下的文本引导生成。
• 视频引导的角色生成能有效将源视频中的复杂动作迁移至新角色，同时保持动作保真度，并支持自定义背景与外观。
• 通过仅使用 5 张图像对 DreamBooth 模型进行微调，可实现生成视频帧中主体身份的一致性，从而准确呈现特定个体的动画。
• 该框架支持多样化应用，包括文本引导的角色创建、视频驱动的角色生成以及多模态动画，展现出强大的视觉质量与时间一致性。
• 使用 MagicEdit 作为运动到视频的骨干网络，即使在处理抽象或稀疏输入时，也能确保输出的高保真度、结构一致性和运动连贯性。