[论文解读] MotionGPT: Finetuned LLMs Are General-Purpose Motion Generators

Yaqi Zhang, Di Huang+8 more|arXiv (Cornell University)|Jun 19, 2023

Human Pose and Action Recognition被引用 4

一句话总结

MotionGPT 是一个统一的人体动作生成框架，利用微调过的大型语言模型（LLMs）通过将多模态控制信号——文本和单帧姿态——转换为离散标记并提示 LLM，来生成动作序列。它仅通过 LoRA 微调 0.4% 的参数，便实现了最先进（SOTA）的性能，支持多种任务的灵活动作生成，如补间、延续生成以及基于关键姿态的条件生成。

ABSTRACT

Generating realistic human motion from given action descriptions has experienced significant advancements because of the emerging requirement of digital humans. While recent works have achieved impressive results in generating motion directly from textual action descriptions, they often support only a single modality of the control signal, which limits their application in the real digital human industry. This paper presents a Motion General-Purpose generaTor (MotionGPT) that can use multimodal control signals, e.g., text and single-frame poses, for generating consecutive human motions by treating multimodal signals as special input tokens in large language models (LLMs). Specifically, we first quantize multimodal control signals into discrete codes and then formulate them in a unified prompt instruction to ask the LLMs to generate the motion answer. Our MotionGPT demonstrates a unified human motion generation model with multimodal control signals by tuning a mere 0.4% of LLM parameters. To the best of our knowledge, MotionGPT is the first method to generate human motion by multimodal control signals, which we hope can shed light on this new direction. Visit our webpage at https://qiqiapink.github.io/MotionGPT/.

研究动机与目标

• 为了解决现有动作生成模型仅支持单一控制模态（如仅文本或仅姿态）的局限性。
• 开发一个统一的框架，能够基于多种控制信号（包括文本描述和关键帧姿态）生成人体动作序列。
• 探索通过将多模态输入视为提示式指令微调范式中的离散标记，将预训练 LLM 适配用于动作生成的可行性。
• 证明在多种控制条件上联合训练可提升在多样化动作生成任务中的泛化能力和性能。
• 建立一种可扩展且高效的动作生成方法，在最小化训练时间和参数更新的同时保持高质量输出。

提出的方法

• MotionGPT 使用预训练的 VQ-VAE 将人体动作序列量化为离散代码，从而将姿态序列表示为标记序列。
• 将多模态输入（文本和姿态代码）整合为统一的提示指令，将其视为 LLM 的特殊输入标记。
• 采用 LoRA（低秩适应）仅微调 LLM 参数的 0.4%，在保留预训练模型动作先验的同时，使其适应动作生成任务。
• 模型端到端训练，以根据文本指令和初始或中间姿态帧预测动作序列。
• 设计了一个统一的指令微调框架，以处理多样化任务，如动作延续、补间生成以及从初始姿态生成动作。
• 通过利用 LLM 的自回归特性及其生成可变长度输出的能力，支持灵活的动作长度生成。

实验结果

研究问题

• RQ1 一个单一的、基于 LLM 的统一模型能否有效生成基于文本和单帧姿态输入的人体动作序列？
• RQ2 在多种控制模态（文本和姿态）上进行联合训练，是否能带来优于单独训练模态的性能提升？
• RQ3 能否通过极少的参数更新和低训练成本，有效适配预训练 LLM 用于动作生成？
• RQ4 LoRA 超参数（r 和 α）的选择如何影响动作生成质量与训练效率？
• RQ5 该模型在多样化动作生成任务（如延续、补间、姿态到动作生成）上的泛化能力达到何种程度？

主要发现

• MotionGPT 在 HumanML3D 和 KIT-ML 数据集上实现了最先进（SOTA）性能，使用 7B 参数模型时，FID 为 0.590，MM Dist 为 3.796。
• 在多种控制条件（文本和姿态）上进行联合训练，相比单独训练，所有指标性能均有显著提升，FID 下降 0.180，MM Dist 下降 0.471。
• 模型仅使用 3300 万可训练参数（占完整 LLM 的 0.4%），在约 4 小时内完成训练——仅为先前方法所需时间的 10%。
• 在保持 α/r 比例不变的前提下，提高 LoRA 秩（r）可提升性能，最优结果在 α=16 且 r=16 或更高时达到。
• 模型展现出强大的泛化能力，在动作延续、补间生成和姿态条件生成等任务中均能生成高多样性与高保真度的动作序列。
• 在提示中使用关键姿态标记（如初始和末尾姿态）相比单独训练，使 R-Precision 提升 0.045，多样性提升 0.647。