[论文解读] MSR-GCN: Multi-Scale Residual Graph Convolution Networks for Human Motion Prediction

Lingwei Dang, Yongwei Nie+3 more|arXiv (Cornell University)|Aug 16, 2021

Human Pose and Action Recognition参考文献 48被引用 14

一句话总结

该论文提出MSR-GCN，一种用于3D人体动作预测的多尺度残差图卷积网络，通过分层姿态抽象和跨尺度双向GCN特征提取，结合中间监督与残差学习，在Human3.6M和CMU Mocap数据集上实现了最先进性能，尤其在长期未来姿态预测方面优于先前方法。

ABSTRACT

Human motion prediction is a challenging task due to the stochasticity and aperiodicity of future poses. Recently, graph convolutional network has been proven to be very effective to learn dynamic relations among pose joints, which is helpful for pose prediction. On the other hand, one can abstract a human pose recursively to obtain a set of poses at multiple scales. With the increase of the abstraction level, the motion of the pose becomes more stable, which benefits pose prediction too. In this paper, we propose a novel Multi-Scale Residual Graph Convolution Network (MSR-GCN) for human pose prediction task in the manner of end-to-end. The GCNs are used to extract features from fine to coarse scale and then from coarse to fine scale. The extracted features at each scale are then combined and decoded to obtain the residuals between the input and target poses. Intermediate supervisions are imposed on all the predicted poses, which enforces the network to learn more representative features. Our proposed approach is evaluated on two standard benchmark datasets, i.e., the Human3.6M dataset and the CMU Mocap dataset. Experimental results demonstrate that our method outperforms the state-of-the-art approaches. Code and pre-trained models are available at https://github.com/Droliven/MSRGCN.

研究动机与目标

• 解决姿态序列中存在随机性和非周期性时的长期人体动作预测挑战。
• 通过关节的多尺度抽象，建模人体姿态中的分层与上下文关系。
• 通过在训练过程中于多个尺度施加中间监督，提升特征表示能力。
• 通过残差GCN模块学习输入与目标姿态之间的残差，提升预测准确性。
• 展示U-Net式多尺度架构结合双向GCN处理的有效性。

提出的方法

• 该方法采用多尺度架构，将关节组递归抽象为更粗粒度的姿态，形成从精细到粗粒度的下采样路径。
• 在每个尺度上使用一组图卷积网络（GCNs）提取时空特征，并在输入姿态与输出姿态之间引入残差连接。
• 反向的上采样路径从粗到细处理特征，实现上下文的精细化。
• 在每个尺度上应用中间监督，以促进学习更具代表性的特征。
• 通过在所有尺度上对预测姿态使用L2损失进行端到端训练，采用残差学习方式预测姿态差异而非绝对姿态。
• 抽象用的关节分组策略基于解剖学邻近性手动设计，消融研究验证了其影响。

实验结果

研究问题

• RQ1 多尺度姿态抽象是否能通过稳定运动模式来提升长期人体动作预测性能？
• RQ2 双向特征提取（从细到粗与从粗到细）是否能增强GCN在动作预测中的特征表示能力？
• RQ3 在多个尺度上施加中间监督在提升预测准确性方面有多有效？
• RQ4 与全连接层相比，残差GCN对动作预测性能的影响如何？
• RQ5 性能对多尺度关节分组策略的选择有多敏感？

主要发现

• MSR-GCN在Human3.6M和CMU Mocap数据集上均达到最先进性能，在长期未来姿态预测方面优于现有SOTA方法。
• 消融研究显示，若移除中间监督，性能显著下降，证实其在学习鲁棒特征中的必要性。
• 将残差GCN替换为全连接层导致性能显著下降，验证了GCN在建模骨骼运动学中的重要性。
• 包含四个尺度（25-12-7-4个关节）的多尺度架构表现最佳，当减少到三个或更少尺度时性能下降。
• 基于解剖学邻近性的默认关节分组策略在CMU Mocap数据集上优于随机和替代分组方案，平均误差为37.28，而随机变体为40.99–47.04。
• 可视化结果表明，MSR-GCN生成的运动序列比消融变体更准确且更稳定，尤其在较长预测时间下表现更优。