[论文解读] Dynamic Graph Reasoning for Multi-person 3D Pose Estimation

Zhongwei Qiu, Qiansheng Yang+2 more|arXiv (Cornell University)|Jul 22, 2022

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出GR-M3D，一种新颖的自下而上的多人3D姿态估计方法，通过动态图推理（DGR）从多个根关键点和密集路径自适应构建解码图，增强了对遮挡和深度模糊的鲁棒性。通过集成尺度与深度感知细化（SDAR）模块，GR-M3D在三个基准上实现最先进性能，相较于基线方法在3DPCK上实现3.2%的相对提升。

ABSTRACT

Multi-person 3D pose estimation is a challenging task because of occlusion and depth ambiguity, especially in the cases of crowd scenes. To solve these problems, most existing methods explore modeling body context cues by enhancing feature representation with graph neural networks or adding structural constraints. However, these methods are not robust for their single-root formulation that decoding 3D poses from a root node with a pre-defined graph. In this paper, we propose GR-M3D, which models the extbf{M}ulti-person extbf{3D} pose estimation with dynamic extbf{G}raph extbf{R}easoning. The decoding graph in GR-M3D is predicted instead of pre-defined. In particular, It firstly generates several data maps and enhances them with a scale and depth aware refinement module (SDAR). Then multiple root keypoints and dense decoding paths for each person are estimated from these data maps. Based on them, dynamic decoding graphs are built by assigning path weights to the decoding paths, while the path weights are inferred from those enhanced data maps. And this process is named dynamic graph reasoning (DGR). Finally, the 3D poses are decoded according to dynamic decoding graphs for each detected person. GR-M3D can adjust the structure of the decoding graph implicitly by adopting soft path weights according to input data, which makes the decoding graphs be adaptive to different input persons to the best extent and more capable of handling occlusion and depth ambiguity than previous methods. We empirically show that the proposed bottom-up approach even outperforms top-down methods and achieves state-of-the-art results on three 3D pose datasets.

研究动机与目标

• 为解决3D多人姿态估计中固定根解码图的局限性，特别是在遮挡和深度模糊情况下的问题。
• 提升在身体部位频繁被遮挡且尺度变化较大的拥挤场景中的鲁棒性。
• 开发一种动态、数据自适应的解码机制，通过推理多个潜在关键点路径而非依赖单一根节点。
• 在不依赖昂贵的自上而下检测阶段的前提下，实现3D姿态估计的最先进性能。

提出的方法

• 该方法引入尺度与深度感知细化（SDAR）模块，增强关键点热力图、尺度图、深度图和3D偏移图，以提升特征表示能力。
• 从增强的特征图中预测多个根关键点和密集解码路径，支持基于多根的推理。
• 通过为预测的解码路径分配学习到的软权重，构建动态解码图，实现对每个人自适应的图结构。
• 动态图推理（DGR）机制从增强的特征图中推断路径权重，实现在3D姿态解码过程中上下文感知的自适应消息传递。
• 该框架采用自下而上的范式，无需人体检测或实例关联，且兼容多种主干网络，包括Hourglass、ResNet和HRNet。
• 整个流程端到端可训练，即使使用ResNet-101和HRNet-32等重型主干网络，也能实现实时推理。

实验结果

研究问题

• RQ1 动态、数据自适应的解码图是否能在处理3D多人姿态估计中的遮挡和深度模糊时，优于固定结构图（如星型或树型）？
• RQ2 基于多根的推理与学习路径权重相比单根解码策略，性能提升程度如何？
• RQ3 一种联合建模尺度与深度的细化模块，能在多大程度上提升关键点预测质量和下游解码质量？
• RQ4 所提出的动态图推理机制是否能泛化至真实世界、非约束且拥挤的场景？
• RQ5 采用动态图推理的自下而上方法能否实现与自上而下方法相当或更优的最先进性能？

主要发现

• GR-M3D在MuPoTS-3D数据集上使用Hourglass主干网络，达到84.6的3DPCK，优于先前最先进方法。
• 在Human3.6M数据集上，GR-M3D在相同主干网络下，MPJPE相对基线提升5%，PA MPJPE提升16%。
• 在人群密度指数超过0.7的拥挤场景中，GR-M3D相比基线实现5.9%的相对提升，展现出对遮挡的强大鲁棒性。
• 在MuCo-3DHP数据集上，GR-M3D在$PCK_{rel}$、$PCK_{abs}$和$AUC_{rel}$上分别较先前SOTA方法提升2.5%、6.5%和3.3%。
• GR-M3D即使在ResNet-101和HRNet-32等重型主干网络下，仍保持实时推理速度（15–23 fps），且参数量仅比基线增加2MB。
• 该模型在非约束真实图像中泛化良好，包括COCO数据集，无需3D标注即可生成合理3D姿态预测。