[论文解读] Spatio-temporal Manifold Learning for Human Motions via Long-horizon Modeling

He Wang, Edmond S. L. Ho+2 more|arXiv (Cornell University)|Aug 20, 2019

Human Pose and Action Recognition参考文献 47被引用 9

一句话总结

本文提出时空循环神经网络（STRNN），一种深度学习框架，通过结合基于部件的空间编码器进行骨骼特征提取与批量预测网络进行长时序建模，实现对三维人体运动流形的建模。该方法可实现高保真度、开环式的长时序运动生成、去噪及基于控制的生成，其在运动自然度与方差保持方面优于先前方法。

ABSTRACT

Data-driven modeling of human motions is ubiquitous in computer graphics and computer vision applications, such as synthesizing realistic motions or recognizing actions. Recent research has shown that such problems can be approached by learning a natural motion manifold using deep learning to address the shortcomings of traditional data-driven approaches. However, previous methods can be sub-optimal for two reasons. First, the skeletal information has not been fully utilized for feature extraction. Unlike images, it is difficult to define spatial proximity in skeletal motions in the way that deep networks can be applied. Second, motion is time-series data with strong multi-modal temporal correlations. A frame could be followed by several candidate frames leading to different motions; long-range dependencies exist where a number of frames in the beginning correlate to a number of frames later. Ineffective modeling would either under-estimate the multi-modality and variance, resulting in featureless mean motion or over-estimate them resulting in jittery motions. In this paper, we propose a new deep network to tackle these challenges by creating a natural motion manifold that is versatile for many applications. The network has a new spatial component for feature extraction. It is also equipped with a new batch prediction model that predicts a large number of frames at once, such that long-term temporally-based objective functions can be employed to correctly learn the motion multi-modality and variances. With our system, long-duration motions can be predicted/synthesized using an open-loop setup where the motion retains the dynamics accurately. It can also be used for denoising corrupted motions and synthesizing new motions with given control signals. We demonstrate that our system can create superior results comparing to existing work in multiple applications.

研究动机与目标

• 为解决现有深度学习模型在捕捉三维人体运动数据中空间与时间方差方面的局限性。
• 通过基于部件的骨骼编码保留空间方差，消除对歧义消除网络的需求。
• 利用具有长时序损失函数的批量预测方法，建模长距离时间依赖性与运动序列的多模态性。
• 实现在无需迭代校正或外部控制信号情况下的准确、开环式长时序运动生成。
• 展示所学习运动流形在运动生成、去噪及基于控制生成中的多功能性。

提出的方法

• 空间模块将人体骨骼划分为语义与空间上相近的部件（如上半身、下肢），以保留局部运动方差。
• 分层空间编码器将每个骨骼帧映射到更高维潜在空间（512维），相较于低维嵌入，提升特征表示能力。
• 时间模块采用批量预测模型，通过一次前向传播编码运动前缀并解码出长序列的未来帧。
• 在整个生成序列上应用长时序预测损失，以强化自然性并减少抖动或平均姿态坍塌现象。
• 通过重建损失与长时序一致性损失的组合，实现端到端训练。
• 模型在开环设置下运行，生成序列时不依赖反馈或运行时误差校正。

实验结果

研究问题

• RQ1 基于部件的空间编码策略是否能有效保留运动方差，避免三维运动建模中的平均姿态坍塌？
• RQ2 与自回归或逐帧预测相比，使用长时序损失函数的批量预测是否能更有效地建模多模态与动态运动序列？
• RQ3 所学习的运动流形在无需显式监督的情况下，能在多大程度上泛化至长时序运动生成、去噪与基于控制的生成等任务？
• RQ4 缺乏环境或动作标签信息在多大程度上影响模型生成上下文合理运动的能力？

主要发现

• STRNN 在无需运行时校正的开环设置下成功生成长达20,000帧的长时序运动，保持了高运动自然度与动态保真度。
• 该模型在长时序生成中优于基于LSTM的基线模型与注意力机制，后者在长序列中或出现坍塌至平均姿态，或产生抖动运动。
• 基于部件的空间编码显著提升了运动方差的保持能力，相比全局或低维编码，消除了对独立歧义消除网络的需求。
• 长时序批量预测损失有效捕捉了多模态性与长距离依赖性，减少了运动方差的低估与高估。
• 所学习的流形在运动去噪与控制信号驱动的生成中表现出色，展示了在多种应用场景下的多功能性。
• 尽管在处理模糊过渡与环境上下文方面存在局限，由于其数据驱动的全局流形学习方法，模型在多种运动类型上仍表现出良好的泛化能力。