[论文解读] Anatomy-aware 3D Human Pose Estimation in Videos.

Tianlang Chen, Chen Fang+4 more|arXiv (Cornell University)|Feb 24, 2020

Human Pose and Action Recognition被引用 16

一句话总结

该论文提出了一种解剖结构感知的3D人体姿态估计方法，将姿态预测分解为骨骼方向和骨骼长度的回归任务，利用视频帧间骨骼的一致性。通过采用全卷积、长跳跃连接的网络进行方向预测，并引入联合偏移损失以对齐骨骼长度与方向的训练，该模型在Human3.6M和MPI-INF-3DHP数据集上实现了最先进性能。

ABSTRACT

In this work, we propose a new solution for 3D human pose estimation in videos. Instead of directly regressing the 3D joint locations, we draw inspiration from the human skeleton anatomy and decompose the task into bone direction prediction and bone length prediction, from which the 3D joint locations can be completely derived. Our motivation is the fact that the bone lengths of a human skeleton remain consistent across time. This promotes us to develop effective techniques to utilize global information across {\it all} the frames in a video for high-accuracy bone length prediction. Moreover, for the bone direction prediction network, we propose a fully-convolutional propagating architecture with long skip connections. Essentially, it predicts the directions of different bones hierarchically without using any time-consuming memory units (e.g. LSTM). A novel joint shift loss is further introduced to bridge the training of the bone length and bone direction prediction networks. Finally, we employ an implicit attention mechanism to feed the 2D keypoint visibility scores into the model as extra guidance, which significantly mitigates the depth ambiguity in many challenging poses. Our full model outperforms the previous best results on Human3.6M and MPI-INF-3DHP datasets, where comprehensive evaluation validates the effectiveness of our model.

研究动机与目标

• 通过利用人体骨骼的解剖约束，提升视频中3D人体姿态估计的性能。
• 通过引入可见性分数作为隐式引导，解决2D关键点观测中的深度模糊性问题。
• 通过利用全局视频上下文信息，实现无需循环单元的长程时间建模，以提升骨骼长度预测性能。
• 通过一种新颖的联合偏移损失，统一骨骼方向与长度预测，实现更优的优化效果。
• 通过引入物理启发的姿态估计分解方法，在基准3D人体姿态数据集上实现最先进性能。

提出的方法

• 该方法将3D姿态估计分解为两个子任务：从骨骼方向和骨骼长度预测中，通过解析方法推导出完整的关节位置。
• 采用具有长跳跃连接的全卷积网络进行分层骨骼方向预测，避免使用LSTM等循环单元。
• 聚合所有视频帧的全局上下文信息，以提升骨骼长度预测性能，利用骨骼长度在时间上的不变性。
• 引入联合偏移损失，以对齐骨骼方向与骨骼长度预测网络的优化过程，提升特征一致性。
• 通过隐式注意力机制将2D关键点可见性分数融入网络，以减少在复杂姿态下的深度模糊性。
• 采用多任务学习框架，端到端训练模型，监督信号来自2D关键点热力图与3D关节标注。

实验结果

研究问题

• RQ1 将3D姿态估计分解为骨骼方向与长度预测是否能提升视频人体姿态估计的准确率与泛化能力？
• RQ2 如何有效利用所有视频帧的全局时间上下文信息，以实现在长时间序列中骨骼长度的一致性预测？
• RQ3 全卷积架构是否能够替代循环单元，在3D姿态估计中有效建模时间动态？
• RQ4 引入2D关键点可见性分数在遮挡或模糊姿态下，能在多大程度上减少深度模糊性？
• RQ5 一种对齐骨骼方向与长度预测的联合偏移损失，是否能提升整体3D姿态估计的准确性？

主要发现

• 所提方法在Human3.6M数据集上达到最先进性能，各项3D关节误差指标优于以往方法。
• 在MPI-INF-3DHP数据集上，模型取得了最佳报告结果，展现出在多样化姿态与动作中的强大泛化能力。
• 结合全局视频上下文的骨骼长度预测显著提升了长期序列中的稳定性与准确性。
• 隐式注意力机制有效减少了自遮挡或复杂姿态下的深度模糊性。
• 联合偏移损失显著提升了骨骼方向与长度预测之间的一致性，从而改善最终的3D关节回归效果。
• 全卷积架构结合长跳跃连接，实现了无需循环单元的高效推理，同时保持了高精度。