[论文解读] Predicting Long-Term Skeletal Motions by a Spatio-Temporal Hierarchical Recurrent Network

Junfeng Hu, Zhencheng Fan+2 more|ArXiv.org|Nov 6, 2019

Human Pose and Action Recognition参考文献 30被引用 8

一句话总结

该论文提出了一种时空分层循环神经网络，通过基于李代数的潜在向量和一种新颖的量化骨骼权重损失函数，对3D骨骼运动中的细粒度时空依赖关系进行建模。该方法在长期骨骼运动预测任务中显著优于当前最先进方法，在长时间序列中保持类人、动态的姿态，避免收敛至静止或不切实际的运动。

ABSTRACT

The primary goal of skeletal motion prediction is to generate future motion by observing a sequence of 3D skeletons. A key challenge in motion prediction is the fact that a motion can often be performed in several different ways, with each consisting of its own configuration of poses and their spatio-temporal dependencies, and as a result, the predicted poses often converge to the motionless poses or non-human like motions in long-term prediction. This leads us to define a hierarchical recurrent network model that explicitly characterizes these internal configurations of poses and their local and global spatio-temporal dependencies. The model introduces a latent vector variable from the Lie algebra to represent spatial and temporal relations simultaneously. Furthermore, a structured stack LSTM-based decoder is devised to decode the predicted poses with a new loss function defined to estimate the quantized weight of each body part in a pose. Empirical evaluations on benchmark datasets suggest our approach significantly outperforms the state-of-the-art methods on both short-term and long-term motion prediction.

研究动机与目标

• 解决长期骨骼运动预测中的挑战，即模型常收敛至静止或非类人姿态。
• 显式建模人体运动序列中的局部与全局时空依赖关系。
• 通过引入关节与骨骼之间的细粒度空间关系，提升预测的稳定性和真实性。
• 减少长时程预测中首帧的不连续性和误差累积。
• 设计一种编码解剖学约束与量化骨骼权重的损失函数，以提升姿态保真度。

提出的方法

• 提出一种分层循环架构，包含独立的时间与空间编码分支，用于建模姿态配置及其依赖关系。
• 利用李代数中的潜在向量，联合表示身体各部分之间的时空关系。
• 采用结构化的堆叠LSTM解码器，逐步生成姿态，协调建模脊柱、手臂和腿部的运动。
• 提出一种新颖的损失函数，基于各身体部位的位置与长度估算其量化权重，减少误差累积。
• 利用双分支编码器提取时间状态（g_t）与空间状态（g_s），实现分层特征学习。
• 采用端到端训练方式，结合平均绝对误差（MAE）与所提损失函数，以保持解剖学上的合理性。

实验结果

研究问题

• RQ1 深度学习模型如何有效捕捉长期3D骨骼序列中局部关节依赖与全局运动模式？
• RQ2 何种损失函数设计最能保持解剖学约束并减少长时程预测中的误差传播？
• RQ3 分层循环结构是否能在长时间跨度内维持动态、类人运动方面优于标准RNN与LSTM？
• RQ4 与重复性动作（如行走）相比，该模型在多样化、非重复性人体动作（如手部摆姿、进食）上的表现如何？
• RQ5 空间与时间状态表征在预测精度中各自贡献程度如何？

主要发现

• 在H3.6M数据集上，所提方法在所有长期预测时延（80ms至1000ms）下均取得最低MAE，优于ERD、LSTM-3LR、RES-GRU、HMR及零速度基线方法。
• 在更具挑战性的mouse数据集上，模型在八帧中有六帧表现最佳，320ms时相较次优方法提升12%。
• 消融实验表明，与L2损失相比，所提损失函数使MAE降低5.5%；与HMR损失相比降低4.5%（H3.6M数据集）。
• 移除空间状态表示（g_s）导致性能下降最显著，表明其在捕捉细粒度关节依赖关系中起关键作用。
• 将结构化堆叠LSTM解码器替换为标准两层LSTM会降低性能，证实了渐进式、分层姿态生成的优势。
• 定性结果表明，仅所提模型能持续生成复杂动作（如手部摆姿）中的动态、类人姿态，避免出现静止或失真输出。