[论文解读] 3D Human Pose Estimation with 2D Marginal Heatmaps

Aiden Nibali, Zhen He+2 more|arXiv (Cornell University)|Jun 5, 2018

Human Pose and Action Recognition参考文献 30被引用 8

一句话总结

本文提出 MargiPose，一种3D人体姿态估计模型，通过预测xy、xz和zy平面上的2D边缘热图，以提高体积热图在内存效率和可微性方面的表现。结合软-argmax与高斯正则化损失，该方法在MPI-INF-3DHP和Human3.6M数据集上实现了最先进（SOTA）的准确率，分别达到40.4 mm的PA-MPJPE和85.4%的PCK。

ABSTRACT

Automatically determining three-dimensional human pose from monocular RGB image data is a challenging problem. The two-dimensional nature of the input results in intrinsic ambiguities which make inferring depth particularly difficult. Recently, researchers have demonstrated that the flexible statistical modelling capabilities of deep neural networks are sufficient to make such inferences with reasonable accuracy. However, many of these models use coordinate output techniques which are memory-intensive, not differentiable, and/or do not spatially generalise well. We propose improvements to 3D coordinate prediction which avoid the aforementioned undesirable traits by predicting 2D marginal heatmaps under an augmented soft-argmax scheme. Our resulting model, MargiPose, produces visually coherent heatmaps whilst maintaining differentiability. We are also able to achieve state-of-the-art accuracy on publicly available 3D human pose estimation data.

研究动机与目标

• 解决基于体积热图的3D姿态估计在内存和可微性方面的局限性。
• 提升3D姿态估计中热图表示的空间泛化能力与可解释性。
• 通过内存高效且可微的架构，实现从单目RGB图像准确预测3D关节点。
• 利用深度学习隐式编码关于合理3D姿态的人体先验知识，而无需显式的手工约束。
• 在标准3D人体姿态基准上实现最先进性能，同时保持计算效率。

提出的方法

• 为每个关节点预测三个2D边缘热图（分别在xy、xz和zy平面上），而非3D体积热图，以减少内存使用。
• 使用带有可微性保持函数的软-argmax操作，从热图回归3D关节点坐标。
• 引入逐像素L2损失，使热图近似理想2D高斯分布，从而提升视觉一致性与预测准确率。
• 在特征变换过程中应用轴排列，对齐输入与输出坐标空间，以促进更好的空间表征学习。
• 使用预测与真实边缘热图之间的均方误差损失进行模型训练，并结合软-argmax以保证端到端可微性。
• 采用多裁剪推理与Procrustes对齐方法，提升基准数据集上的泛化能力与评估一致性。

实验结果

研究问题

• RQ1 2D边缘热图能否作为3D人体姿态估计中体积热图的有效且内存高效的替代方案？
• RQ2 在软-argmax损失中增加高斯正则化项是否能提升热图质量与3D关节点预测准确率？
• RQ3 所提出的MargiPose架构在标准3D姿态估计基准上，与现有SOTA模型相比，在准确率与效率方面表现如何？
• RQ4 在仅使用实验室采集的3D数据进行训练的情况下，模型在具有多样化姿态与遮挡的现实世界、非受限图像上的泛化能力如何？
• RQ5 架构组件（如多阶段监督、轴排列与正则化）对整体性能的贡献有多大？

主要发现

• 在使用修正标签的MPI-INF-3DHP数据集上，MargiPose实现了40.4 mm的PA-MPJPE与85.4%的PCK，显著优于先前方法。
• 在相同测试集上，MargiPose通过多裁剪推理实现88.3%的PCK与85.2 mm的MPJPE，表明其对具有挑战性的现实世界图像具有强大泛化能力。
• 在软-argmax损失中加入高斯正则化后，PCK提升1.8个百分点，MPJPE降低6 mm，证实其在提升热图质量方面的有效性。
• 将热图预测阶段数从1个增加到4个可进一步提升性能，表明更深层次的监督能增强准确性。
• 轴排列模块仅带来微小增益，表明网络的感受野已足够捕捉跨视角的空间依赖性。
• 尽管仅在实验室采集的3D数据上进行训练，MargiPose在MPII数据集的非受限图像上仍表现出良好泛化能力，生成视觉上连贯且合理的3D姿态预测。