[论文解读] FLAME: Free-form Language-based Motion Synthesis & Editing

Ji‐Hoon Kim, Jiseob Kim+1 more|arXiv (Cornell University)|Sep 1, 2022

Human Motion and Animation被引用 4

一句话总结

FLAME 是一种基于扩散模型的生成模型，用于自由形式文本到动作的合成与编辑，利用一种新颖的 Transformer 解码器架构来处理可变长度的动作序列，并与预训练语言模型进行交叉注意力。它在 HumanML3D、BABEL 和 KIT 数据集上实现了最先进性能，无需微调即可实现高保真度、多样化的动作生成与编辑。

ABSTRACT

Text-based motion generation models are drawing a surge of interest for their potential for automating the motion-making process in the game, animation, or robot industries. In this paper, we propose a diffusion-based motion synthesis and editing model named FLAME. Inspired by the recent successes in diffusion models, we integrate diffusion-based generative models into the motion domain. FLAME can generate high-fidelity motions well aligned with the given text. Also, it can edit the parts of the motion, both frame-wise and joint-wise, without any fine-tuning. FLAME involves a new transformer-based architecture we devise to better handle motion data, which is found to be crucial to manage variable-length motions and well attend to free-form text. In experiments, we show that FLAME achieves state-of-the-art generation performances on three text-motion datasets: HumanML3D, BABEL, and KIT. We also demonstrate that editing capability of FLAME can be extended to other tasks such as motion prediction or motion in-betweening, which have been previously covered by dedicated models.

研究动机与目标

• 开发一个统一的框架，用于基于文本的 3D 动作合成与编辑，支持自由形式的语言描述。
• 解决先前模型依赖简单动作标签的局限性，这些标签限制了多样性与可控性。
• 在无需模型微调的情况下，实现灵活的条件生成（如编辑、预测和插值）。
• 将扩散模型适配到本质上具有时空特性和可变长度的运动领域。
• 通过无分类器引导和定制化的 Transformer 架构，提升生成动作的质量与多样性。

提出的方法

• 提出一种基于扩散的运动数据生成框架，通过 1,000 个时间步的余弦 beta 调度，训练模型从各向同性高斯噪声中去噪运动序列。
• 引入基于 Transformer 解码器的架构，包含自注意力、交叉注意力以及动作长度标记，以建模可变长度序列并关注自由形式文本。
• 使用预训练语言模型（RoBERTa）编码文本提示，将 CLS 标记和前 20 个标记通过交叉注意力输入，以引导动作生成。
• 在推理过程中采用无分类器引导，将 25% 的文本输入替换为空字符串，以实现对生成质量与对齐度的控制。
• 引入动作长度标记，显式地将目标输出序列长度作为条件输入，提升生成的一致性。
• 训练过程中冻结语言模型以稳定表示并提升性能，该设计通过消融实验得到验证。

实验结果

研究问题

• RQ1 基于扩散的模型能否生成与自由形式文本描述高度对齐、保真度高的 3D 动作？
• RQ2 同一模型是否能仅通过文本提示实现无需微调的动作合成与编辑？
• RQ3 所提出的结合动作长度标记与交叉注意力的 Transformer 架构在多大程度上提升了生成质量与可控性？
• RQ4 该模型是否能通过编辑泛化到其他运动任务（如预测与插值）？
• RQ5 在基于扩散的运动生成中，采样速度与动作质量之间的权衡如何？

主要发现

• FLAME 在 HumanML3D、BABEL 和 KIT 数据集上，在 FID、FVD 和 R-precision 等多个指标上均达到最先进性能。
• 在 KIT 数据集上，当采用 TEMOS 使用的相同评估流程时，FLAME 的表现优于先前方法，展现出强大的泛化能力。
• 模型生成了多样化的动作，其关节方差较高（基于每个提示生成的 10 个样本测量），表明具有强大的多模态性与表现力。
• 生成的动作在 mCLIP 分数上表现优异（基于三次试验的平均值），证实与文本提示具有强对齐性。
• 消融实验表明，冻结预训练语言模型并使用完整预训练语言模型输出进行交叉注意力可显著提升性能。
• 尽管采样速度较慢（1,000 步时每样本需 30 秒以上），但将扩散步数减少至 50–100 步仍能保持高质量，实现更快推理且保真度损失极小。