[论文解读] Heatmap Distribution Matching for Human Pose Estimation

Haoxuan Qu, Li Xu+3 more|arXiv (Cornell University)|Oct 3, 2022

Human Pose and Action Recognition被引用 7

一句话总结

本文提出了一种新颖的热力图分布匹配方法，用于2D人体姿态估计，通过使用地球移动距离（EMD）直接优化预测热力图以匹配真实关节点标注，从而消除了对高斯平滑热力图的需求。通过将热力图预测建模为预测热力图与稀疏点标注之间的分布匹配问题，该方法实现了更一致且准确的关节点定位，在COCO和MPII数据集上优于基线模型，性能提升最高达+0.7 AP。

ABSTRACT

For tackling the task of 2D human pose estimation, the great majority of the recent methods regard this task as a heatmap estimation problem, and optimize the heatmap prediction using the Gaussian-smoothed heatmap as the optimization objective and using the pixel-wise loss (e.g. MSE) as the loss function. In this paper, we show that optimizing the heatmap prediction in such a way, the model performance of body joint localization, which is the intrinsic objective of this task, may not be consistently improved during the optimization process of the heatmap prediction. To address this problem, from a novel perspective, we propose to formulate the optimization of the heatmap prediction as a distribution matching problem between the predicted heatmap and the dot annotation of the body joint directly. By doing so, our proposed method does not need to construct the Gaussian-smoothed heatmap and can achieve a more consistent model performance improvement during the optimization of the heatmap prediction. We show the effectiveness of our proposed method through extensive experiments on the COCO dataset and the MPII dataset.

研究动机与目标

• 解决在使用像素级损失对高斯平滑热力图进行优化时，模型性能提升不一致的问题。
• 克服点标注热力图（稀疏）和高斯平滑热力图（对标准差选择敏感）的局限性。
• 通过将预测热力图分布与真实关节点标注分布匹配，直接优化热力图预测以实现准确的身体关节点定位。
• 消除构建高斯平滑热力图的需求，从而避免超参数敏感性和间接优化问题。
• 通过使模型预测与关节点定位的内在目标对齐，提升泛化能力和定位精度。

提出的方法

• 将热力图预测优化建模为预测热力图与真实关节点点标注之间的分布匹配问题。
• 将预测热力图和点标注表示为概率分布，以计算地球移动距离（EMD）。
• 使用Sinkhorn算法高效计算两个分布之间的EMD，实现可微分优化。
• 在需求方（即点标注）的公式中引入亚像素分辨率，以提升定位精度。
• 在训练过程中将预测热力图与点标注之间的EMD最小化作为损失函数。
• 在不改变网络架构的前提下，将该方法应用于多种主干网络架构（如ResNet-152、HRNet-W32/W48）。

实验结果

研究问题

• RQ1 直接将预测热力图与稀疏点标注进行分布匹配，是否能在2D人体姿态估计中超越使用高斯平滑热力图的方法？
• RQ2 消除高斯平滑步骤是否能降低超参数敏感性并提升训练一致性？
• RQ3 基于EMD的优化是否相比在高斯热力图上使用MSE的优化，能实现更紧凑且准确的关节点定位？
• RQ4 在分布匹配框架中，点标注的亚像素公式化如何影响定位精度？
• RQ5 Sinkhorn迭代次数对EMD计算及最终模型性能有何影响？

主要发现

• 在COCO验证集上，该方法相较于基线模型Simple Baseline（ResNet-152）实现了+0.7 AP的性能提升。
• 在HRNet-W48上，AP从77.1提升至78.8，AP^M提升+1.7，表明在所有指标上均实现一致改进。
• 亚像素需求方公式化优于简单的像素中心公式化，在HRNet-W48上实现+0.9 AP的性能增益。
• 使用1000次Sinkhorn迭代可稳定性能，进一步增加迭代次数带来的增益微乎其微，表明已收敛。
• 定性结果表明，与使用高斯平滑热力图的基线相比，预测热力图在真实关节点位置周围更加紧凑。
• 该方法在不同主干网络（ResNet-152、HRNet-W32/W48）上均表现出良好的泛化能力，并在COCO和MPII数据集上达到SOTA性能。