[论文解读] LiftFormer: 3D Human Pose Estimation using attention models

Adrian Llopart|arXiv (Cornell University)|Sep 1, 2020

Human Pose and Action Recognition参考文献 41被引用 10

一句话总结

LiftFormer 提出了一种基于 Transformer 编码器的模型，利用自注意力机制从 2D 关键点序列预测 3D 人体姿态，实现了最先进的性能，并提升了时间一致性。在 Human3.6M 数据集上，使用 2D 检测器输入时，MPJPE 降低 0.3 mm（至 44.8 mm），使用真实值输入时降低 2 mm（至 31.9 mm），同时仅使用 9.5M 参数——少于先前的方法——展示了更高的精度与效率。

ABSTRACT

Estimating the 3D position of human joints has become a widely researched topic in the last years. Special emphasis has gone into defining novel methods that extrapolate 2-dimensional data (keypoints) into 3D, namely predicting the root-relative coordinates of joints associated to human skeletons. The latest research trends have proven that the Transformer Encoder blocks aggregate temporal information significantly better than previous approaches. Thus, we propose the usage of these models to obtain more accurate 3D predictions by leveraging temporal information using attention mechanisms on ordered sequences human poses in videos. Our method consistently outperforms the previous best results from the literature when using both 2D keypoint predictors by 0.3 mm (44.8 MPJPE, 0.7% improvement) and ground truth inputs by 2mm (MPJPE: 31.9, 8.4% improvement) on Human3.6M. It also achieves state-of-the-art performance on the HumanEva-I dataset with 10.5 P-MPJPE (22.2% reduction). The number of parameters in our model is easily tunable and is smaller (9.5M) than current methodologies (16.95M and 11.25M) whilst still having better performance. Thus, our 3D lifting model's accuracy exceeds that of other end-to-end or SMPL approaches and is comparable to many multi-view methods.

研究动机与目标

• 通过利用长距离时间依赖关系，提升从单目视频序列中进行 3D 人体姿态估计的性能。
• 解决从 2D 关键点预测结果提升为高空间与时间精度的 3D 姿态的挑战。
• 开发一种轻量化但高度准确的 3D 姿态提升模型，在性能与参数效率方面超越现有方法。

提出的方法

• 该模型采用 Transformer 编码器架构，将 2D 关键点坐标序列作为输入。
• 使用自注意力机制捕捉帧间长距离时间关系，增强姿态的一致性。
• 模型端到端训练，从 2D 输入预测相对于根关节的 3D 关节坐标。
• 在多头注意力层之间应用参数共享，以减少模型大小而不造成显著性能损失。
• 对感受野、编码器块数量和隐藏维度等超参数进行调优，以平衡精度与效率。
• 该架构支持灵活的模型缩放，可实现小型模型（如 2.4M 参数）并保持具有竞争力的性能。

实验结果

研究问题

• RQ1 Transformer 编码器中的自注意力机制是否能提升从 2D 关键点序列进行 3D 人体姿态估计的时间一致性？
• RQ2 基于 Transformer 的 3D 姿态提升模型在标准基准上的性能与先前的 RNN 和 CNN 方法相比如何？
• RQ3 通过参数共享与超参数调优，模型大小可减少到何种程度而不牺牲精度？
• RQ4 当使用 2D 检测器输出与真实值 2D 关键点时，所提出方法是否实现了最先进性能？
• RQ5 轻量级 Transformer 模型是否能在精度与参数效率两方面均优于更大的模型？

主要发现

• 在 Human3.6M 数据集上，使用 CPN 2D 预测结果时，LiftFormer 实现 44.8 mm 的 MPJPE，相比之前最先进方法降低 0.3 mm（0.7%）。
• 使用真实值 2D 输入时，LiftFormer 实现 31.9 mm 的 MPJPE，相比先前方法提升 8.4%。
• 在 HumanEva-I 数据集上，LiftFormer 实现 10.5 P-MPJPE，相比之前方法减少 22.2%。
• 该模型仅使用 9.5M 参数，少于竞争方法（16.95M 和 11.25M），同时性能更优。
• 最小的 2.4M 参数变体在精度（37.5 mm vs. 37.8 mm）与参数数量上均优于更大模型。
• 多头注意力中的参数共享显著减少参数量，性能损失极小，甚至在真实值输入下对大感受野（243）有性能提升。