[论文解读] Deep Monocular 3D Human Pose Estimation via Cascaded Dimension-Lifting

Changgong Zhang, Fangneng Zhan+1 more|arXiv (Cornell University)|Apr 8, 2021

Human Pose and Action Recognition参考文献 51被引用 8

一句话总结

本文提出了一种级联维度提升框架，用于单目3D人体姿态估计，直接从RGB图像回归3D关节点坐标，无需依赖外部2D姿态检测器。通过中间监督，依次预测2D关键点、骨骼结构和深度感知表征，该方法在Human3.6M数据集上实现了48.7mm的MPJPE，在MuPoTS-3D数据集上实现了83.3%的3DPCK，达到当前最先进性能。

ABSTRACT

The 3D pose estimation from a single image is a challenging problem due to depth ambiguity. One type of the previous methods lifts 2D joints, obtained by resorting to external 2D pose detectors, to the 3D space. However, this type of approaches discards the contextual information of images which are strong cues for 3D pose estimation. Meanwhile, some other methods predict the joints directly from monocular images but adopt a 2.5D output representation $P^{2.5D} = (u,v,z^{r}) $ where both $u$ and $v$ are in the image space but $z^{r}$ in root-relative 3D space. Thus, the ground-truth information (e.g., the depth of root joint from the camera) is normally utilized to transform the 2.5D output to the 3D space, which limits the applicability in practice. In this work, we propose a novel end-to-end framework that not only exploits the contextual information but also produces the output directly in the 3D space via cascaded dimension-lifting. Specifically, we decompose the task of lifting pose from 2D image space to 3D spatial space into several sequential sub-tasks, 1) kinematic skeletons \& individual joints estimation in 2D space, 2) root-relative depth estimation, and 3) lifting to the 3D space, each of which employs direct supervisions and contextual image features to guide the learning process. Extensive experiments show that the proposed framework achieves state-of-the-art performance on two widely used 3D human pose datasets (Human3.6M, MuPoTS-3D).

研究动机与目标

• 通过利用上下文图像特征和结构化监督，解决单目3D人体姿态估计中的深度模糊问题。
• 通过直接从RGB图像回归3D姿态，消除对外部2D关键点检测器的依赖。
• 通过实现直接输出3D结果，克服2.5D表征方法在推理时需要真实深度标签的局限性。
• 通过使用骨骼热图、关节点热图和以深度为中心的体积表征的多阶段监督，提升模型的泛化能力和精度。

提出的方法

• 引入逐步热图变换（S³HT）分支，首先预测骨骼热图，以指导骨骼结构学习。
• 利用从关键点位置生成的合成热图，对2D关节点估计进行监督，无需额外标注。
• 通过将2D关节点热图映射到立方体中，使用归一化深度值作为通道索引，构建3D体积表征，以编码相对深度信息。
• 对融合特征图应用软-argmax，直接从图像回归最终的3D坐标(u, v, z)。
• 采用残差连接的MLP进行3D提升，结合上下文图像特征，实现高精度深度估计。
• 采用多阶段监督：关节点热图、骨骼-关节点热图块以及以深度为中心的体积监督，以稳定训练并提升精度。

实验结果

研究问题

• RQ1 通过中间监督的级联维度提升是否能提高3D姿态估计精度，同时避免对额外2D检测器的依赖？
• RQ2 基于归一化深度索引的深度感知体积表征与离散排序或回归方法相比，在减少深度模糊方面表现如何？
• RQ3 骨骼结构监督在多大程度上提升了3D关节点预测的几何一致性和精度？
• RQ4 统一的端到端框架是否能在无需推理阶段真实深度标签的情况下，在单人与多人3D姿态基准上均实现SOTA性能？

主要发现

• 在Human3.6M数据集的Protocol #1下，该方法实现了48.7mm的平均关节点位置误差（MPJPE），优于所有先前的单帧方法。
• 在MuPoTS-3D基准上，该方法实现了83.3%的3D关键点正确率（3DPCK），为自顶向下多人3D姿态估计设立了新的SOTA记录。
• 消融实验表明，加入骨骼-关节点热图监督相比仅使用关节点热图监督，可将MPJPE降低1.2mm。
• 完整模型（包含所有中间监督：JH + BH + DC）将MPJPE从基线的54.1mm降低至48.7mm，显著提升了性能。
• 该方法在推理阶段未使用任何真实深度标签或相机内参，与先前依赖此类信息的2.5D方法形成对比，实现了SOTA性能。
• 该网络仅增加少量参数，但显著提升了精度，表明其设计高效且监督策略有效。