[论文解读] Combining Recurrent Neural Networks and Adversarial Training for Human Motion Synthesis and Control

Zhiyong Wang, Jinxiang Chai+1 more|arXiv (Cornell University)|Jun 21, 2018

Human Motion and Animation被引用 10

一句话总结

该论文提出了一种接触感知的生成模型，结合基于LSTM的RNN与对抗性训练，以生成高度逼真的动作序列。通过使用类似GAN的判别器网络对RNN生成的动作进行优化，并引入接触信息，该模型能够生成无限长度、高保真度的动作，其逼真程度与真实动作捕捉数据无异，在真实感和控制应用方面优于基线RNN模型。

ABSTRACT

This paper introduces a new generative deep learning network for human motion synthesis and control. Our key idea is to combine recurrent neural networks (RNNs) and adversarial training for human motion modeling. We first describe an efficient method for training a RNNs model from prerecorded motion data. We implement recurrent neural networks with long short-term memory (LSTM) cells because they are capable of handling nonlinear dynamics and long term temporal dependencies present in human motions. Next, we train a refiner network using an adversarial loss, similar to Generative Adversarial Networks (GANs), such that the refined motion sequences are indistinguishable from real motion capture data using a discriminative network. We embed contact information into the generative deep learning model to further improve the performance of our generative model. The resulting model is appealing to motion synthesis and control because it is compact, contact-aware, and can generate an infinite number of naturally looking motions with infinite lengths. Our experiments show that motions generated by our deep learning model are always highly realistic and comparable to high-quality motion capture data. We demonstrate the power and effectiveness of our models by exploring a variety of applications, ranging from random motion synthesis, online/offline motion control, and motion filtering. We show the superiority of our generative model by comparison against baseline models.

研究动机与目标

• 解决使用深度学习建模人体动作中非线性动力学与长期时间依赖性的挑战。
• 通过将对抗性训练与基于RNN的动作生成相结合，提升动作的真实感。
• 通过在生成模型中嵌入接触信息，提升动作质量，减少视觉伪影。
• 实现灵活的动作控制与生成，采用紧凑、可扩展的模型，适用于多种动作类型并具备良好泛化能力。
• 开发一种系统，可在不存储原始训练数据的前提下实现实时、高质量的动作生成与滤波。

提出的方法

• 使用长短期记忆（LSTM）网络作为生成器，以建模序列动作动态并捕捉长期依赖关系。
• 采用通过对抗性损失训练的精炼网络（R），使生成的动作与真实动作捕捉数据难以区分。
• 引入一个判别网络（D），用于将动作序列分类为真实或精炼版本，与生成器形成极小极大博弈。
• 将接触状态信息（如脚与地面的接触）作为输入特征，以提升物理合理性并减少伪影。
• 应用自正则化损失，以保持原始RNN输出与精炼后动作之间的结构相似性。
• 通过联合损失函数端到端训练完整系统：包括对抗性损失（用于欺骗判别器）与重建损失（用于保持动作保真度）。

实验结果

研究问题

• RQ1 对抗性训练是否能显著提升基于RNN生成的人体动作序列的真实感？
• RQ2 引入接触信息如何影响合成动作的质量与物理合理性？
• RQ3 所提出的模型能否生成无限长度、多样化且高保真度的动作序列，适用于控制与动画应用？
• RQ4 在用户定义约束条件下，该模型与基线RNN相比，在动作真实感与泛化能力方面表现如何？
• RQ5 该模型在不从头开始重新训练的前提下，能够多大程度上通过新数据进行微调？

主要发现

• 所提出的模型（GAN2）在行走序列中的动作真实感平均用户评分达到4.75，跑步序列为4.68，与真实动作捕捉数据（Mocap）的质量非常接近。
• 该模型优于基线RNN与仅使用GAN的变体（GAN1），证明了接触感知建模的附加优势。
• 该模型生成的动作序列始终被评为高度逼真且自然，视觉伪影（如脚部滑动或不稳）极少。
• 该模型在GTX 970 GPU上实现了30 FPS的实时推理，适用于交互式应用。
• 该模型保持紧凑且可扩展：其大小不随训练数据增加而增长，并支持无需从头开始训练的微调。
• 基于MAP的动作控制框架成功平衡了用户约束与动作先验，即使在输入约束存在噪声或不自然的情况下，也能生成自然外观的动作。