[论文解读] Is 2D Heatmap Representation Even Necessary for Human Pose Estimation

Yanjie Li, Sen Yang+5 more|arXiv (Cornell University)|Jul 7, 2021

Human Pose and Action Recognition参考文献 42被引用 11

一句话总结

本文提出 SimDR，一种无需热力图的人体姿态估计方法，通过将关键点的水平与垂直坐标解耦至独立的分类头，消除了上采样和精炼的需要。在 COCO 数据集上，该方法在低分辨率设置下相较于基于热力图的方法表现出更优的性能。

ABSTRACT

The 2D heatmap representation has dominated human pose estimation for years due to its high performance. However, heatmap-based approaches have some drawbacks: 1) The performance drops dramatically in the low-resolution images, which are frequently encountered in real-world scenarios. 2) To improve the localization precision, multiple upsample layers may be needed to recover the feature map resolution from low to high, which are computationally expensive. 3) Extra coordinate refinement is usually necessary to reduce the quantization error of downscaled heatmaps. To address these issues, we propose a extbf{Sim}ple yet promising extbf{D}isentangled extbf{R}epresentation for keypoint coordinate (\emph{SimDR}), reformulating human keypoint localization as a task of classification. In detail, we propose to disentangle the representation of horizontal and vertical coordinates for keypoint location, leading to a more efficient scheme without extra upsampling and refinement. Comprehensive experiments conducted over COCO dataset show that the proposed \emph{heatmap-free} methods outperform \emph{heatmap-based} counterparts in all tested input resolutions, especially in lower resolutions by a large margin. Code will be made publicly available at \url{this https URL}.

研究动机与目标

• 解决基于热力图的方法在真实应用场景中常见的低分辨率图像下性能下降的问题。
• 消除为恢复高分辨率特征图而需要的多层上采样所带来的计算开销。
• 通过完全避免热力图表示，减少热力图下采样带来的量化误差。
• 通过解耦的坐标分类，开发一种更高效且精确的关键点定位方法。

提出的方法

• 提出一种解耦表示，将关键点的水平与垂直坐标分离至两个独立的分类头。
• 训练模型以预测二维关键点位置为 x 和 y 坐标的离散类别概率对。
• 对水平与垂直坐标分类均使用交叉熵损失，避免热力图回归。
• 通过直接从低分辨率特征预测坐标，避免任何上采样或精炼模块。
• 利用解耦结构在无需额外后处理的情况下提升定位精度。
• 使用标准分类损失端到端训练，相比基于热力图的方法简化了流程。

实验结果

研究问题

• RQ1 无热力图的方法是否能在人体姿态估计中超越基于热力图的方法，尤其是在低分辨率输入下？
• RQ2 将水平与垂直坐标预测解耦是否能提升定位精度并减少量化误差？
• RQ3 是否能在不牺牲性能的前提下消除对昂贵上采样和精炼模块的需求？
• RQ4 与基线基于热力图的模型相比，该方法在不同输入分辨率下的可扩展性如何？

主要发现

• 所提出的 SimDR 方法在 COCO 数据集的所有输入分辨率下，均优于所有测试的基于热力图的基线模型。
• 性能提升在低分辨率设置下最为显著，表明其对分辨率退化具有强鲁棒性。
• 该方法消除了对上采样和坐标精炼模块的需求，降低了计算开销。
• 解耦分类方法减少了基于热力图定位固有的量化误差。
• 该模型在无需热力图监督或后处理的情况下达到了最先进性能。
• 消融研究证实，解耦的坐标预测是性能提升的关键因素。