[论文解读] HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation

Kun Zhou, Xiaoguang Han+3 more|arXiv (Cornell University)|Oct 26, 2019

Human Pose and Action Recognition参考文献 37被引用 7

一句话总结

本文提出 HEMlets Pose，一种新颖的以部件为中心的热图三元组表示方法，通过编码运动学连接关节之间的相对深度顺序，提升单目图像中 3D 人体姿态估计的性能。通过在 2D 关节检测的同时学习这些中间热图，并采用软-argmax 回归，该方法在 Human3.6M 数据集上实现了 39.9mm 的新 SOTA MPJPE，相比之前的方法提升了约 20%。

ABSTRACT

Estimating 3D human pose from a single image is a challenging task. This work attempts to address the uncertainty of lifting the detected 2D joints to the 3D space by introducing an intermediate state - Part-Centric Heatmap Triplets (HEMlets), which shortens the gap between the 2D observation and the 3D interpretation. The HEMlets utilize three joint-heatmaps to represent the relative depth information of the end-joints for each skeletal body part. In our approach, a Convolutional Network (ConvNet) is first trained to predict HEMlests from the input image, followed by a volumetric joint-heatmap regression. We leverage on the integral operation to extract the joint locations from the volumetric heatmaps, guaranteeing end-to-end learning. Despite the simplicity of the network design, the quantitative comparisons show a significant performance improvement over the best-of-grade method (by 20% on Human3.6M). The proposed method naturally supports training with "in-the-wild" images, where only weakly-annotated relative depth information of skeletal joints is available. This further improves the generalization ability of our model, as validated by qualitative comparisons on outdoor images.

研究动机与目标

• 通过引入一种中间可学习表示，解决从 2D 关节检测提升至 3D 空间时的模糊性和不确定性。
• 通过以密集的像素级方式编码骨骼部件关节之间的相对深度关系，提升 3D 姿态估计的准确性。
• 在仅提供相对深度标注的弱监督‘野外’图像上实现有效训练。
• 通过一种简单、端到端可训练的架构，实现 SOTA 性能，将 3D 回归任务分解为更简单的子任务。

提出的方法

• 该方法提出部件中心热图三元组（HEMlets），通过三个热图分别表示骨骼部件中两个端点关节的前向、后向或相同深度顺序。
• 采用双分支卷积神经网络，从输入 RGB 图像中首先预测 2D 关节热图和 HEMlets，利用中间监督提升学习效果。
• 将预测的 HEMlets 与 2D 热图在第二阶段卷积神经网络中与高层特征融合，回归每个关节的 3D 体积热图。
• 通过可微的软-argmax 操作提取最终的 3D 关节坐标，支持端到端训练。
• 通过利用仅包含相对深度标注的数据集（如 Ordinal 和 FBI）支持弱监督学习。
• 模型采用渐进式训练策略：首先训练 2D 关节检测，然后预测 HEMlets，最后进行 3D 热图回归。

实验结果

研究问题

• RQ1 一种编码相对深度顺序的中间部件中心表示，能否提升从单张图像进行 3D 人体姿态估计的性能？
• RQ2 在 2D 关节热图的同时学习 HEMlets，对 3D 姿态估计的精度和泛化能力有何影响？
• RQ3 当仅使用相对深度标注进行训练时，该模型在‘野外’图像上的泛化能力能达到何种程度？
• RQ4 与现有的基于 3D 热图或检测的方法相比，所提出的 HEMlets 表示在准确性和鲁棒性方面是否更具优势？

主要发现

• 所提出的 HEMlets 方法在 Human3.6M 基准测试中实现了 39.9mm 的新 SOTA MPJPE，相比最佳基线方法提升约 20%。
• 该方法展现出强大的泛化能力，在 LSP 和 MPI-INF-3DHP 的挑战性‘野外’图像上，即使在自遮挡或极端姿态下，也能生成视觉上准确的 3D 姿态估计。
• 在包含额外弱标注数据集（如 FBI 和 Ordinal）上进行训练可提升 3DPCK 分数，其中 FBI 标注带来的性能优于 Ordinal，可能归因于更低的标注误差率。
• 具有三种深度状态的 HEMlets 变体在收敛速度和最终性能上均优于 5s-HEM 和 2s-HEM，表明该深度离散化程度为最优。
• 完整模型在 GTX 1080 GPU 上每轮推理耗时 13.3ms，尽管精度提升，但推理效率依然出色。