[论文解读] Motion Flow Matching for Human Motion Synthesis and Editing

Vincent Tao Hu, Wenzhe Yin+8 more|arXiv (Cornell University)|Dec 14, 2023

Human Motion and Animation被引用 4

一句话总结

本文提出运动流匹配（Motion Flow Matching），一种新型的生成模型，用于人体动作合成，仅需十步采样即可实现最先进性能——相比以往的扩散模型，推理时间大幅缩短——同时通过采样轨迹重写实现高效、无需训练的动作编辑。该方法利用基于常微分方程（ODE）的流匹配，确保生成轨迹为直线，从而实现快速、高保真度的动作生成，并在多种任务（如插值、预测和上半身操控）中保持一致的编辑效果。

ABSTRACT

Human motion synthesis is a fundamental task in computer animation. Recent methods based on diffusion models or GPT structure demonstrate commendable performance but exhibit drawbacks in terms of slow sampling speeds and error accumulation. In this paper, we propose \emph{Motion Flow Matching}, a novel generative model designed for human motion generation featuring efficient sampling and effectiveness in motion editing applications. Our method reduces the sampling complexity from thousand steps in previous diffusion models to just ten steps, while achieving comparable performance in text-to-motion and action-to-motion generation benchmarks. Noticeably, our approach establishes a new state-of-the-art Fréchet Inception Distance on the KIT-ML dataset. What is more, we tailor a straightforward motion editing paradigm named \emph{sampling trajectory rewriting} leveraging the ODE-style generative models and apply it to various editing scenarios including motion prediction, motion in-between prediction, motion interpolation, and upper-body editing. Our code will be released.

研究动机与目标

• 为解决基于扩散模型的人体动作生成模型采样速度缓慢的问题，这些模型通常需要数千步的采样过程。
• 在不需微调或额外训练的前提下，提升动作生成的可控性与可编辑性。
• 首次探索将其他模态中使用的流匹配技术应用于人体动作生成领域。
• 通过利用流匹配模型的直线轨迹特性，实现实用化的实时动作编辑。
• 在KIT-ML数据集上，以极少的采样步数实现新的SOTA（Fréchet Inception Distance, FID）表现。

提出的方法

• 提出一种基于流匹配的生成模型，用于人体动作，通过常微分方程（ODE）求解器训练回归线性插值向量场。
• 采用基于Transformer的架构建模动作序列，实现高效且可扩展的生成。
• 采用采样轨迹重写（sampling trajectory rewriting）：一种无需训练的编辑方法，通过将已知动作片段与ODE轨迹对齐，生成一致且编辑后的动作。
• 应用ODE求解器，沿直线路径从噪声到数据生成动作，确保稳定性和快速收敛。
• 通过从已知时间步（如 t=0.2）开始重写采样轨迹，实现编辑，同时保持与输入动作片段的一致性。
• 在关节空间中执行图像修复（inpainting），以实现对特定身体部位的语义编辑，而不影响其他部分。

实验结果

研究问题

• RQ1 流匹配能否有效应用于人体动作生成，以显著减少采样步数，同时实现高质量结果？
• RQ2 如何利用流匹配模型的直线轨迹特性，实现高效、无需训练的动作编辑？
• RQ3 在编辑部分序列（如插值或未来预测）时，采样轨迹重写能否保持动作的一致性？
• RQ4 该方法在标准基准测试中是否在生成质量与推理速度方面均优于现有基于扩散模型的方法？
• RQ5 该模型能否在多种编辑场景（包括上半身操控与动作插值）中实现泛化，同时保持语义一致性？

主要发现

• 所提出的运动流匹配（Motion Flow Matching）模型在KIT-ML数据集上实现了新的SOTA Fréchet Inception Distance (FID) 得分为15.4，优于先前方法。
• 采样步数从扩散模型的约1000步减少至仅10步，在V100 GPU上实现相比MDM的100倍加速，以及相比MLD的5倍加速。
• 在HumanML3D测试集上，平均每个动作的推理时间仅为0.11秒，证明了其具备实时可行性。
• 采样轨迹重写技术在多种场景下均实现一致的编辑效果，包括插值、未来预测、上半身编辑与插值任务，FID、ADE与FDE指标相比MDM略有提升。
• 即使在早期时间步（如 t=0.2），模型也能生成与提示高度匹配的合理准确动作估计，证明了直线轨迹的稳定性。
• 该方法在文本到动作与动作到动作生成任务中保持高性能，其结果与基线模型相当或更优，同时函数评估次数显著减少。