[论文解读] Dynamic Future Net: Diversified Human Motion Generation

Wenheng Chen, He Wang+3 more|arXiv (Cornell University)|Aug 25, 2020

Human Pose and Action Recognition参考文献 38被引用 4

一句话总结

本文提出动态未来网络（DFN），一种深度生成模型，通过在潜在空间中利用过去和未来双向状态表征，显式建模短期和长期运动随机性。在仅使用最少运动数据（最少7秒）的情况下，DFN能够生成多样化、高质量且时间上连贯的人体运动序列，通过基于分布的损失函数，在多样性与鲁棒性方面优于先前方法。

ABSTRACT

Human motion modelling is crucial in many areas such as computer graphics, vision and virtual reality. Acquiring high-quality skeletal motions is difficult due to the need for specialized equipment and laborious manual post-posting, which necessitates maximizing the use of existing data to synthesize new data. However, it is a challenge due to the intrinsic motion stochasticity of human motion dynamics, manifested in the short and long terms. In the short term, there is strong randomness within a couple frames, e.g. one frame followed by multiple possible frames leading to different motion styles; while in the long term, there are non-deterministic action transitions. In this paper, we present Dynamic Future Net, a new deep learning model where we explicitly focuses on the aforementioned motion stochasticity by constructing a generative model with non-trivial modelling capacity in temporal stochasticity. Given limited amounts of data, our model can generate a large number of high-quality motions with arbitrary duration, and visually-convincing variations in both space and time. We evaluate our model on a wide range of motions and compare it with the state-of-the-art methods. Both qualitative and quantitative results show the superiority of our method, for its robustness, versatility and high-quality.

研究动机与目标

• 解决从有限训练数据生成多样化、高质量人体运动序列的挑战。
• 显式建模人体运动动力学中的短期（帧级）和长期（动作级）随机性。
• 开发一种在保持运动质量的同时实现生成序列高度多样性的生成模型。
• 实现在混合或单一运动类型上无需微调的训练，提升模型通用性。
• 以分布相似性损失替代点估计损失，以更好建模运动随机性。

提出的方法

• DFN采用变分自编码器将运动序列嵌入低维潜在空间，实现高效的动态建模。
• 采用双向循环网络联合建模过去和未来状态，捕捉短期姿态变化与长期动作转变。
• 显式地将当前状态基于历史和未来上下文进行条件化，实现对随机转换的动态建模。
• 提出一种新型分布损失函数，比较预测姿态分布与真实姿态分布，而非点估计，从而提升多样性。
• 该架构支持在混合运动类型上端到端训练，实现从多样化数据中学习多模态动态。
• 推理阶段采用基于潜在码和未来上下文的条件采样策略，支持任意长度运动生成。

实验结果

研究问题

• RQ1 深度生成模型能否有效捕捉人体运动动力学中的短期与长期随机性？
• RQ2 当模型在极少量数据（如<15秒）上训练时，能否生成多样化且高质量的运动序列？
• RQ3 单一模型能否在无需微调的情况下泛化至多种运动类型（如行走、跑步、拳击）？
• RQ4 与自回归或单向模型相比，建模未来上下文是否能提升运动的多样性与时间连贯性？
• RQ5 与标准点估计重建损失相比，分布损失函数在多大程度上提升了运动多样性？

主要发现

• DFN即使在仅使用7秒运动数据训练的情况下，仍能成功生成多样化、视觉上可信的任意时长运动序列。
• 模型保持了高运动质量与时间连贯性，生成的运动展现出自然的姿态变化与合理的动作转换。
• 在混合运动类型上训练时，DFN能够捕捉多模态动态，并从单一前缀生成多样化运动风格，例如从行走转为跑步或跳舞。
• 分布损失函数相比点估计重建损失，显著提升了生成运动的多样性，经验证与训练数据的平均距离分布匹配度更高。
• 生成运动在姿态分布上与训练数据具有强统计相似性，各时间步的平均距离分布与真实数据高度一致。
• 即使训练数据大幅减少（低至7秒），DFN仍能保持稳定且合理的运动生成，展现出对数据稀缺的强鲁棒性。