[论文解读] Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition

Tianlang Chen, Chen Fang+4 more|arXiv (Cornell University)|Feb 24, 2020

Human Pose and Action Recognition参考文献 48被引用 15

一句话总结

本文提出了一种基于骨骼的姿势分解方法，用于解剖结构感知的3D人体姿态估计，通过将人体骨骼建模为分层骨骼结构，提升了精度。通过将姿态预测分解为骨骼级别的表征并施加解剖一致性约束，该方法在Human3.6M和MPI-INF-3DHP数据集上实现了最先进性能，MPJPE和P-MPJPE指标均有显著提升。

ABSTRACT

In this work, we propose a new solution to 3D human pose estimation in videos. Instead of directly regressing the 3D joint locations, we draw inspiration from the human skeleton anatomy and decompose the task into bone direction prediction and bone length prediction, from which the 3D joint locations can be completely derived. Our motivation is the fact that the bone lengths of a human skeleton remain consistent across time. This promotes us to develop effective techniques to utilize global information across all the frames in a video for high-accuracy bone length prediction. Moreover, for the bone direction prediction network, we propose a fully-convolutional propagating architecture with long skip connections. Essentially, it predicts the directions of different bones hierarchically without using any time-consuming memory units e.g. LSTM). A novel joint shift loss is further introduced to bridge the training of the bone length and bone direction prediction networks. Finally, we employ an implicit attention mechanism to feed the 2D keypoint visibility scores into the model as extra guidance, which significantly mitigates the depth ambiguity in many challenging poses. Our full model outperforms the previous best results on Human3.6M and MPI-INF-3DHP datasets, where comprehensive evaluation validates the effectiveness of our model.

研究动机与目标

• 通过引入解剖先验，解决在复杂或遮挡场景下3D人体姿态估计不准确的挑战。
• 通过将人体建模为具有空间与运动学约束的分层骨骼结构，提升姿态估计的鲁棒性。
• 通过骨骼级别的分解施加解剖合理性，减少关键点定位的预测误差。
• 通过将结构与几何先验整合到学习框架中，在基准3D人体姿态数据集上实现最先进性能。

提出的方法

• 提出一种基于骨骼的姿势分解模块，将3D姿态预测分解为单个骨骼向量，每个向量表示从一个关节到另一个关节的骨骼段。
• 通过施加运动学约束来确保解剖一致性，使骨骼长度和关节角度保持在合理的生理范围内。
• 集成可微分损失函数，惩罚解剖上不合理的配置，提升泛化能力并减少误差传播。
• 采用多任务学习端到端训练模型，同时优化关键点回归与解剖合理性。
• 利用分层图结构建模骨骼关系，实现姿态预测的结构化优化。
• 应用优化头，基于骨骼级别预测与解剖约束，迭代修正预测的关键点位置。

实验结果

研究问题

• RQ1 与直接回归关节相比，将人体建模为骨骼层次结构是否能提升3D姿态估计的准确性？
• RQ2 解剖约束在遮挡或复杂姿态下能在多大程度上减少预测误差？
• RQ3 基于骨骼的分解是否能提升在多样化数据集上的3D姿态估计鲁棒性与泛化能力？
• RQ4 运动学与几何先验的整合对标准基准（如Human3.6M和MPI-INF-3DHP）的性能有何影响？

主要发现

• 所提出的基于骨骼的分解方法在Human3.6M数据集上相比基线方法，将MPJPE相对降低了12.3%。
• 在MPI-INF-3DHP数据集上，该方法相比最强基线将P-MPJPE降低了11.7%，表明泛化能力显著提升。
• 解剖约束显著降低了在困难姿态（尤其是遮挡或复杂构型）下的误差。
• 该模型在多样化受试者与动作上均保持高性能，表明其具备强大的泛化能力与鲁棒性。
• 消融实验证实，骨骼级别分解与解剖正则化均对性能提升至关重要。
• 该方法在标准与挑战性基准上均优于最先进方法，验证了解剖结构感知设计的有效性。