[论文解读] Example-based Motion Synthesis via Generative Motion Matching

Weiyu Li, Xuelin Chen+3 more|arXiv (Cornell University)|Jun 1, 2023

Human Motion and Animation被引用 1

一句话总结

本文提出GenMM，一种无需训练的生成式动作合成框架，该框架在多阶段动作匹配流程中利用双向视觉相似性作为生成代价函数。通过从单个或少数示例序列中挖掘多样化、高质量的动作变体（无需微调），GenMM可在不到一秒内生成逼真且连贯的动作，即使面对复杂骨骼结构亦然，从而支持关键帧引导合成、动作补全和无限循环等任务。

ABSTRACT

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/

研究动机与目标

• . 开发一种无需训练的动作合成方法，能够从极少数示例序列中生成多样化、高质量的动作。
• . 克服基于深度学习的方法的局限性，包括训练时间长、视觉伪影以及在复杂骨骼结构上的可扩展性差。
• . 将已知能生成高质量结果的运动匹配技术拓展为一种生成式框架，能够从有限示例中挖掘多样化变体。
• . 支持新型动画任务，如关键帧引导生成、动作补全和无限循环，这些任务在标准运动匹配中难以实现。

提出的方法

• . 提出一种生成式运动匹配模块，利用双向视觉相似性作为代价函数，指导动作合成。
• . 采用多阶段精炼过程，通过输入示例中的典型动作片段逐步优化随机生成的动作猜测。
• . 定义一种基于合成序列与示例序列之间动作片段分布比较的生成代价，确保一致性并避免伪影。
• . 使用骨骼感知组件以保持结构连贯性，并在骨骼轴向上实现变化，即使在低周期性输入中亦然。
• . 完全无需训练，依赖从输入示例中提取的运动数据库中的高效相似性搜索与片段匹配。
• . 通过轻量级网络界面和Blender插件无缝集成至生产工作流，支持实时艺术家交互。

实验结果

研究问题

• RQ1 . 运动匹配能否被改编为一种生成式框架，无需离线训练即可生成多样化、高质量的动作？
• RQ2 . 如何将动作片段分布之间的双向相似性用作生成代价函数，以确保合成动作的保真度与连贯性？
• RQ3 . 所提方法能否仅使用少量示例序列，就支持复杂动画任务（如关键帧引导生成、动作补全和无限循环）？
• RQ4 . 在大型复杂骨骼结构上，该方法的表现如何，尤其当深度学习模型常出现失败时？
• RQ5 . 与神经生成模型相比，使用运动匹配在动作质量与生成多样性之间存在何种权衡？

主要发现

• . GenMM在不到一秒内即可生成高质量、多样化动作序列，即使面对复杂骨骼结构也无需任何训练。
• . 该方法成功实现了关键帧引导的动作合成，输出序列在遵循手动指定姿态的同时保持连贯自然。
• . 通过使用典型片段填补缺失的动作段（如下半身动作），实现了动作补全，结果合理且一致。
• . 可生成从指定姿态开始并结束于该姿态的无限循环动画，过渡平滑且无明显不连续感。
• . 通过网络界面和Blender插件支持实时交互，证明了其在消费级硬件上的实际可用性。
• . 尽管生成多样性低于GANimator等神经模型，GenMM避免了抖动、过度平滑等视觉伪影，优先保障动作质量。