[论文解读] Generative Tweening: Long-term Inbetweening of 3D Human Motions

Yi Zhou, Jingwan Lu+4 more|arXiv (Cornell University)|May 18, 2020

Human Motion and Animation参考文献 53被引用 20

一句话总结

本文提出了一种用于3D人体动作长期补间动画的条件生成对抗网络，采用两阶段方法：首先预测局部关节旋转，然后基于这些旋转推断全局角色运动轨迹，同时通过范围受限前向运动学层施加生物力学约束。该方法利用一种新颖的“运动DNA”概念实现风格控制，从稀疏关键帧生成多样化、逼真的动作，实现复杂、自然外观动作的实时合成，具有高度的用户控制能力。

ABSTRACT

The ability to generate complex and realistic human body animations at scale, while following specific artistic constraints, has been a fundamental goal for the game and animation industry for decades. Popular techniques include key-framing, physics-based simulation, and database methods via motion graphs. Recently, motion generators based on deep learning have been introduced. Although these learning models can automatically generate highly intricate stylized motions of arbitrary length, they still lack user control. To this end, we introduce the problem of long-term inbetweening, which involves automatically synthesizing complex motions over a long time interval given very sparse keyframes by users. We identify a number of challenges related to this problem, including maintaining biomechanical and keyframe constraints, preserving natural motions, and designing the entire motion sequence holistically while considering all constraints. We introduce a biomechanically constrained generative adversarial network that performs long-term inbetweening of human motions, conditioned on keyframe constraints. This network uses a novel two-stage approach where it first predicts local motion in the form of joint angles, and then predicts global motion, i.e. the global path that the character follows. Since there are typically a number of possible motions that could satisfy the given user constraints, we also enable our network to generate a variety of outputs with a scheme that we call Motion DNA. This approach allows the user to manipulate and influence the output content by feeding seed motions (DNA) to the network. Trained with 79 classes of captured motion data, our network performs robustly on a variety of highly complex motion styles.

研究动机与目标

• 解决从极稀疏用户指定关键帧生成长期、复杂且逼真3D人体动作的挑战。
• 在长时间动作序列中保持生物力学合理性与关键帧姿态的准确性。
• 通过一种新颖的“运动DNA”机制实现用户对动作风格的控制，该机制通过种子动作对生成器进行条件控制。
• 支持灵活的输入格式，包括部分身体姿态和2D草图，以提升创作灵活性。
• 实现实时或近实时的动作合成，以支持交互式动画工作流程。

提出的方法

• 采用两阶段条件生成对抗网络架构：首先生成局部关节旋转，然后基于这些旋转预测全局运动轨迹。
• 引入范围受限前向运动学（RC-FK）层，利用固定且无不连续性的欧拉角顺序与范围，对关节旋转施加生物力学限制。
• 采用整体性、上下文感知的生成策略，同时考虑所有关键帧，而非仅在相邻关键帧之间插值。
• 提出“运动DNA”——一种潜在条件化方案，允许网络在相同关键帧约束下，通过输入不同的种子动作模式，生成多个多样化动作序列。
• 对输入表示进行适配，以支持部分身体输入（如仅根骨骼、半身或2D投影），训练和推理过程中使用掩码关节输入。
• 在CMU Mocap数据集的79类捕捉动作数据上进行训练，以实现对多样化动作风格的泛化。

实验结果

研究问题

• RQ1 如何使深度生成模型从极稀疏的关键帧生成长期、自然且生物力学合理的3D人体动作？
• RQ2 模型如何在长时间序列中确保关键帧姿态的准确遵循，同时保持全局动作的一致性？
• RQ3 在相同关键帧约束下，模型如何生成多个不同且合理的动作序列？
• RQ4 模型能否泛化到部分或低保真度输入，如2D草图或仅根骨骼位置？
• RQ5 模型能否实现实时性能，以支持交互式动画与迭代设计？

主要发现

• 该模型仅需四个稀疏关键帧即可生成高度逼真且多样的3D人体动作序列，动作姿态自然且具有有意义的运动变化。
• 两阶段架构——先生成局部动作，再预测全局路径——在保持生物力学合理性的同时，实现了准确的长期动作合成。
• RC-FK层通过限制欧拉角的范围与顺序，成功防止了不现实的关节旋转，减少了运动空间中的不连续性。
• 运动DNA机制允许用户通过条件化不同的种子动作，影响输出动作的风格与多样性，从而在相同关键帧集合下生成多个合理结果。
• 系统支持灵活的输入格式，包括部分身体姿态和2D草图，即使在非均匀或扭曲的2D输入下，也能合成合理的3D动作。
• 该方法实现实时性能，生成一分钟动作耗时不足半秒，且可对较短序列实现实时更新。