[论文解读] Human Motion Prediction via Learning Local Structure Representations and Temporal Dependencies

Xiao Guo, Jongmoo Choi|arXiv (Cornell University)|Feb 20, 2019

Human Pose and Action Recognition参考文献 28被引用 13

一句话总结

该论文提出了SkelNet和Skel-TNet两种新型深度学习架构，通过从身体组件（如四肢、躯干）中学习局部结构表征并建模时间依赖性，提升了人体运动预测性能。SkelNet采用针对不同组件的分支结构来提取局部空间特征，而Skel-TNet则将SkelNet与基于GRU的RNN及融合网络相结合，联合建模空间与时间动态，在Human3.6M和CMU Mocap数据集上实现了最先进性能。

ABSTRACT

Human motion prediction from motion capture data is a classical problem in the computer vision, and conventional methods take the holistic human body as input. These methods ignore the fact that, in various human activities, different body components (limbs and the torso) have distinctive characteristics in terms of the moving pattern. In this paper, we argue local representations on different body components should be learned separately and, based on such idea, propose a network, Skeleton Network (SkelNet), for long-term human motion prediction. Specifically, at each time-step, local structure representations of input (human body) are obtained via SkelNet's branches of component-specific layers, then the shared layer uses local spatial representations to predict the future human pose. Our SkelNet is the first to use local structure representations for predicting the human motion. Then, for short-term human motion prediction, we propose the second network, named as Skeleton Temporal Network (Skel-TNet). Skel-TNet consists of three components: SkelNet and a Recurrent Neural Network, they have advantages in learning spatial and temporal dependencies for predicting human motion, respectively; a feed-forward network that outputs the final estimation. Our methods achieve promising results on the Human3.6M dataset and the CMU motion capture dataset.

研究动机与目标

• 为解决整体人体姿态建模在运动预测中的局限性，认识到不同身体组件（四肢、躯干）具有不同的运动模式。
• 通过学习组件特定的局部空间表征而非将完整姿态视为单一输入，提升长期人体运动预测性能。
• 通过在多阶段框架中整合SkelNet的空间表征与基于GRU的RNN的时间建模，提升短期预测性能。
• 证明将局部结构学习与时间建模分离可提升运动预测任务中的泛化能力与鲁棒性。

提出的方法

• SkelNet将人体姿态划分为五个非重叠的身体部分（如左臂、右臂、躯干、左腿、右腿），每个部分由专用的组件特定分支处理，以学习局部空间表征。
• 每个组件特定分支使用共享层、残差连接、Dropout和Leaky ReLU激活函数，从关节约数据中提取鲁棒的局部特征。
• 共享层聚合所有身体部分的局部表征，以预测下一时间步的姿态，形成完整人体姿态的统一输出。
• Skel-TNet将SkelNet用于空间表征学习，并结合基于GRU的RNN（C-RNN）以建模跨序列帧的时间依赖性。
• 一个融合网络（实现为前馈网络）将SkelNet和C-RNN的输出结合，生成最终预测的运动序列。
• 网络采用端到端训练，结合重建损失与采样-based损失，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 与整体姿态建模相比，从个体身体组件中学习局部结构表征是否能提升长期人体运动预测性能？
• RQ2 将组件特定的空间表征与递归时间建模相结合，是否能提升短期运动预测的准确性？
• RQ3 SkelNet的架构设计（特别是其组件特定分支）如何影响预测性能与在噪声下的鲁棒性？
• RQ4 SkelNet与基于GRU的RNN在Skel-TNet中的整合，在多样化人体活动上是否显著提升泛化能力？
• RQ5 如身体部分分组方式或移除某些组件等架构选择，如何影响运动预测框架的性能？

主要发现

• SkelNet在长期运动预测上达到最先进性能，在Human3.6M数据集上均值为0.49 mof，在CMU Mocap数据集上为0.60 mof。
• 消融研究证实，组件特定分支显著提升性能，相比无分支变体，所有身体部分及完整姿态的误差均降低。
• Skel-TNet在短期预测上优于基线模型，联合训练时在Human3.6M数据集上达到0.73 mof，在CMU Mocap数据集上达到0.55 mof。
• 移除融合网络（w/o M）或时间组件（w/o T）均导致性能下降，证实Skel-TNet中各组件的必要性。
• SkelNet在高斯噪声（方差达0.5）下表现出鲁棒性，在各数据集上保持一致性能，尽管在CMU Mocap上略优于CSS。
• 采用五个独立分支的架构（SkelNet）优于将左右臂或腿分组的变体（Skel_LR、Skel_UD），表明更细粒度的组件分离可提升表征学习性能。