[论文解读] HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation

Kun Zhou, Xiaoguang Han+3 more|arXiv (Cornell University)|Mar 10, 2020

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出 HEMlets PoSh，一种新颖的方法，通过使用以部件为中心的热图三元组（HEMlets）作为中间表示，从单张 RGB 图像中进行 3D 人体姿态与形状估计。HEMlets 编码了运动学连接关节对之间的相对深度排序与空间共位置概率，支持一种渐进式学习策略，在 Human3.6M 数据集上使 3D 姿态估计精度相比最先进方法提升约 20%，同时在真实场景图像中也表现出良好的泛化能力。

ABSTRACT

Estimating 3D human pose from a single image is a challenging task. This work attempts to address the uncertainty of lifting the detected 2D joints to the 3D space by introducing an intermediate state-Part-Centric Heatmap Triplets (HEMlets), which shortens the gap between the 2D observation and the 3D interpretation. The HEMlets utilize three joint-heatmaps to represent the relative depth information of the end-joints for each skeletal body part. In our approach, a Convolutional Network (ConvNet) is first trained to predict HEMlets from the input image, followed by a volumetric joint-heatmap regression. We leverage on the integral operation to extract the joint locations from the volumetric heatmaps, guaranteeing end-to-end learning. Despite the simplicity of the network design, the quantitative comparisons show a significant performance improvement over the best-of-grade methods (e.g. $20\%$ on Human3.6M). The proposed method naturally supports training with "in-the-wild" images, where only weakly-annotated relative depth information of skeletal joints is available. This further improves the generalization ability of our model, as validated by qualitative comparisons on outdoor images. Leveraging the strength of the HEMlets pose estimation, we further design and append a shallow yet effective network module to regress the SMPL parameters of the body pose and shape. We term the entire HEMlets-based human pose and shape recovery pipeline HEMlets PoSh. Extensive quantitative and qualitative experiments on the existing human body recovery benchmarks justify the state-of-the-art results obtained with our HEMlets PoSh approach.

研究动机与目标

• 为解决从 2D 关节提升至 3D 空间时存在的歧义性以及巨大的域差距，提出一种可学习的中间表示。
• 通过利用弱监督的相对深度标注，提升对非受限、真实场景图像的泛化能力。
• 通过体积热图上的可微分 soft-argmax 操作，实现端到端可微的 3D 关节回归。
• 开发一种简单而高效的流水线，实现从单张图像中联合回归 3D 姿态与 SMPL 人体形状参数。
• 在标准基准（包括 Human3.6M、3DPW、SURREAL 和 UP-3D）上展示最先进性能。

提出的方法

• 该方法引入以部件为中心的热图三元组（HEMlets），使用三个 2D 热图表示每个骨骼部件末端关节对的三种相对深度状态（前向、后向或相同深度）。
• 采用两阶段卷积神经网络：首先从输入 RGB 图像预测 2D 关节热图与 HEMlets，然后利用高层特征与 HEMlets 作为辅助监督，回归 3D 体积热图。
• 通过可微分的 soft-argmax 操作提取 3D 关节位置，支持端到端训练与梯度反向传播。
• 在相同特征空间上附加一个浅层、轻量级的网络头，用于回归 SMPL 人体形状（β）与姿态（θ）参数。
• 该框架支持使用仅包含相对深度排序标注的数据集进行弱监督预训练，增强对真实世界图像的鲁棒性。
• 模型采用渐进式训练：首先进行 2D 关节检测与 HEMlets 预测，随后进行 3D 热图回归，降低过拟合并提升收敛性。

实验结果

研究问题

• RQ1 是否一种编码了相对深度排序的中间、以部件为中心的表示能够提升从单张图像中进行 3D 人体姿态估计的性能？
• RQ2 将 HEMlets 作为 2D 观测与 3D 预测之间的桥梁进行学习，是否能减少域差距并提升在真实场景图像中的泛化能力？
• RQ3 3D 姿态估计的精度在多大程度上影响后续 SMPL 人体形状与姿态回归的质量？
• RQ4 是否可通过一种简单、模块化的网络设计结合渐进式监督，实现 3D 人体重建的最先进性能？
• RQ5 当仅使用弱标注的相对深度信息进行训练时，该方法的有效性如何？

主要发现

• 在 Human3.6M 基准上，HEMlets PoSh 实现了 39.9mm 的平均关节点位置误差（MPJPE），相比最佳竞争方法 [42] 提升约 20%。
• 该方法在真实场景图像中表现出良好的泛化能力，通过在具有挑战性光照与遮挡的户外场景中的定性结果得到验证。
• 在 3DPW 数据集上，完整版 HEMlets PoSh 模型实现了 58.8mm 的重建误差，优于所有消融版本与先前方法。
• 消融研究显示，3D 关节回归分支对身体网格恢复的贡献显著高于仅使用高层特征分支。
• 将估计姿态替换为真实姿态后，误差降低至 9.4mm，表明姿态精度是影响人体形状恢复质量的主导因素。
• 该方法在 SURREAL 与 UP-3D 数据集上均实现了最低的表面误差，证实其在多个基准上的最先进性能。