[论文解读] Integral Human Pose Regression

Xiao Sun, Bin Xiao+3 more|arXiv (Cornell University)|Nov 22, 2017

Human Pose and Action Recognition参考文献 57被引用 15

一句话总结

本文提出积分人体姿态回归，一种可微、端到端的方法，用可微的期望（积分）操作替代基于热图的姿态估计中的不可微argmax操作，统一了热图与回归方法。该方法在3D人体姿态估计基准上实现最先进性能（例如，在Human3.6M数据集上Protocol 2下达到49.6 mm MPJPE），显著优于先前方法，同时计算效率高，并与现有架构兼容。

ABSTRACT

State-of-the-art human pose estimation methods are based on heat map representation. In spite of the good performance, the representation has a few issues in nature, such as not differentiable and quantization error. This work shows that a simple integral operation relates and unifies the heat map representation and joint regression, thus avoiding the above issues. It is differentiable, efficient, and compatible with any heat map based methods. Its effectiveness is convincingly validated via comprehensive ablation experiments under various settings, specifically on 3D pose estimation, for the first time.

研究动机与目标

• 解决基于热图的人体姿态估计的局限性，包括不可微的后处理操作以及因热图分辨率较低导致的量化误差。
• 通过引入一种可微的连续估计方法，统一热图表示与关节点回归的优势。
• 在多种设置下验证积分回归的有效性，包括2D与3D姿态估计、不同网络架构及多种训练策略。
• 使用简单高效的模型，在MPII、COCO和Human3.6M等基准数据集上实现最先进性能。

提出的方法

• 用可微的期望（积分）操作替代不可微的argmax操作，将关节点坐标估计为热图中所有空间位置的加权平均。
• 关节点位置计算公式为 $ \mathbf{J}_k = \sum_{\mathbf{p}} \mathbf{p} \cdot \mathbf{H}_k(\mathbf{p}) $，其中 $ \mathbf{H}_k(\mathbf{p}) $ 表示位置 $ \mathbf{p} $ 处的归一化似然。
• 该方法无超参数，兼容任意基于热图的模型，仅需更改后处理层。
• 通过使关节点预测可微，实现端到端训练，从而允许对关节点坐标进行直接监督。
• 在多种设置下评估该方法：不同的主干网络（ResNet-50、Hourglass）、输入与热图分辨率，以及训练策略（是否使用2D数据）。
• 支持混合2D与3D数据训练，在低分辨率下仍具有效性，减少量化误差与计算成本。

实验结果

研究问题

• RQ1 一种可微的连续回归方法能否统一人体姿态估计中热图与关节点回归的优势？
• RQ2 将argmax替换为积分回归是否能减少量化误差并提高定位精度，尤其是在低分辨率设置下？
• RQ3 积分回归能否在Human3.6M等3D人体姿态估计基准上实现最先进性能？
• RQ4 与标准基于热图的方法相比，积分回归在不同架构、分辨率及训练策略下的表现如何？
• RQ5 积分回归方法是否与现有模型兼容，并在结合混合2D与3D数据时仍具有效性？

主要发现

• 在Human3.6M数据集上，Protocol 2下达到49.6 mm MPJPE，优于之前最先进方法5.1 mm（相对提升11.2%）。
• 在相同基准上，当不使用额外2D数据时，相比先前工作提升9.5 mm（相对提升16.1%），达到64.1 mm MPJPE。
• 该方法显著降低低分辨率设置下的性能下降：当输入图像尺寸从256减半至128时，H2的MPJPE仅增加3.8 mm，而I2仅增加19.8 mm。
• 在2D基准（MPII与COCO）上，积分回归也取得具有竞争力的性能，证明其在3D姿态估计之外的泛化能力。
• 该方法支持端到端训练，对分辨率变化具有鲁棒性，因此在实时与资源受限的应用中更具优势。
• 全面的消融实验表明，所有评估设置下性能均持续提升，包括不同网络架构、损失函数及数据使用策略。