[论文解读] Bottom-up approaches for multi-person pose estimation and it's applications: A brief review

Milan Kresović, Thong Duy Nguyen|arXiv (Cornell University)|Dec 22, 2021

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文综述了近期2D和3D自下而上的多人员姿态估计方法，强调其在实时应用中的速度与效率。分析了关键架构，在标准数据集上评估了性能，并指出了遮挡敏感性与姿态模糊性等局限性，同时提出了未来研究方向，如改进的上下文建模、高效推理以及基于物理的约束以提升3D估计的鲁棒性。

ABSTRACT

Human Pose Estimation (HPE) is one of the fundamental problems in computer vision. It has applications ranging from virtual reality, human behavior analysis, video surveillance, anomaly detection, self-driving to medical assistance. The main objective of HPE is to obtain the person's posture from the given input. Among different paradigms for HPE, one paradigm is called bottom-up multi-person pose estimation. In the bottom-up approach, initially, all the key points of the targets are detected, and later in the optimization stage, the detected key points are associated with the corresponding targets. This review paper discussed the recent advancements in bottom-up approaches for the HPE and listed the possible high-quality datasets used to train the models. Additionally, a discussion of the prominent bottom-up approaches and their quantitative results on the standard performance matrices are given. Finally, the limitations of the existing methods are highlighted, and guidelines of the future research directions are given.

研究动机与目标

• 提供最先进的2D和3D自下而上多人员人体姿态估计方法的全面概述。
• 使用关键指标如AP和MPJPE，在标准基准上评估主流自下而上方法的性能。
• 识别当前自下而上方法中的关键局限性，包括遮挡挑战、姿态模糊性以及3D特征编码问题。
• 通过指出开放性问题并建议研究方向（如增强的全局-局部上下文建模和改进的时间稳定性），为未来研究提供指导。
• 对比自下而上与自上而下范式，突出在实际部署中准确率与推理速度之间的权衡。

提出的方法

• 自下而上的方法首先使用单阶段检测器在输入图像或视频中检测所有人体关键点候选。
• 随后在后处理优化步骤中，通过关联嵌入（associative embedding）或部件亲和场（part affinity fields）将检测到的关键点提议分组为个体人体姿态。
• 对于3D姿态估计，XNect方法仅在关节位置初始编码3D姿态向量，并将其传播至周围像素，从而减少编码冲突。
• MubyNet在所有骨骼像素位置编码3D姿态向量，导致潜在的特征空间冲突，性能欠佳。
• 本综述使用COCA、MPII和3DPW等标准数据集评估方法，应用关键点AP和平均每关节位置误差（MPJPE）等指标。
• 未来方法设计受高效推理、对遮挡的鲁棒性以及物理运动约束集成以实现时间一致性的需求驱动。

实验结果

研究问题

• RQ1 在标准基准上，自下而上的多人员姿态估计方法在准确率与推理速度方面与自上而下方法相比如何？
• RQ2 当前自下而上方法的主要失败案例与局限性是什么，尤其是在人群密集或遮挡严重的场景中？
• RQ3 为何3D自下而上方法如MubyNet在3D特征编码方面表现欠佳？XNect又是如何缓解这一问题的？
• RQ4 上下文（包括局部与全局）在提升姿态分组性能、减少误关联错误方面发挥何种作用？
• RQ5 哪些未来研究方向可提升自下而上姿态估计在实际部署中的鲁棒性、效率与泛化能力？

主要发现

• 自下而上的方法实现了实时推理速度，使其适用于自动驾驶和监控等低延迟要求的应用。
• 尽管推理速度更快，自下而上方法在COCO等挑战性基准上的准确率通常低于自上而下方法。
• XNect通过仅在关节位置编码3D向量并进行传播，在3D姿态估计中表现出更强的鲁棒性，减少了编码冲突。
• MubyNet的全像素3D编码导致特征空间模糊性，且在2D姿态估计不准确时效果更差。
• 颈部遮挡会显著降低XNect的性能，表明其对可见上半身关节的依赖性较强，影响可靠3D估计。
• 如肢体混淆、因遮挡导致人员遗漏以及非人体物体引发的误报等失败案例，凸显了改进上下文建模与鲁棒跟踪的必要性。