[论文解读] Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos

Yu Cheng, Bo Wang+2 more|arXiv (Cornell University)|Dec 22, 2020

Human Pose and Action Recognition参考文献 49被引用 5

一句话总结

该论文提出了一种新颖的框架，结合图卷积网络（GCNs）与时间卷积网络（TCNs），用于在无需相机参数的情况下，实现单目视频中鲁棒的3D多人姿态估计。该框架引入了基于置信度分数的有向关节GCN与骨骼GCN，以恢复被遮挡或缺失的身体部位；同时，通过引入关节-TCN、速度-TCN与根-TCN模块，实现时间一致性与相机中心的姿态估计，在MuPoTS-3D与Human3.6M数据集上达到最先进性能。

ABSTRACT

Despite the recent progress, 3D multi-person pose estimation from monocular videos is still challenging due to the commonly encountered problem of missing information caused by occlusion, partially out-of-frame target persons, and inaccurate person detection. To tackle this problem, we propose a novel framework integrating graph convolutional networks (GCNs) and temporal convolutional networks (TCNs) to robustly estimate camera-centric multi-person 3D poses that do not require camera parameters. In particular, we introduce a human-joint GCN, which, unlike the existing GCN, is based on a directed graph that employs the 2D pose estimator's confidence scores to improve the pose estimation results. We also introduce a human-bone GCN, which models the bone connections and provides more information beyond human joints. The two GCNs work together to estimate the spatial frame-wise 3D poses and can make use of both visible joint and bone information in the target frame to estimate the occluded or missing human-part information. To further refine the 3D pose estimation, we use our temporal convolutional networks (TCNs) to enforce the temporal and human-dynamics constraints. We use a joint-TCN to estimate person-centric 3D poses across frames, and propose a velocity-TCN to estimate the speed of 3D joints to ensure the consistency of the 3D pose estimation in consecutive frames. Finally, to estimate the 3D human poses for multiple persons, we propose a root-TCN that estimates camera-centric 3D poses without requiring camera parameters. Quantitative and qualitative evaluations demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决单目视频中因遮挡、人物出框及检测不准确导致的3D多人姿态估计缺失或错误的问题。
• 通过实现无需相机标定参数的相机中心姿态估计，克服以人物为中心姿态估计的局限性。
• 通过在GCN中使用置信度感知的有向图建模关节与骨骼关系，提升空间姿态恢复能力。
• 通过集成建模运动动态与速度的时间卷积网络，增强时间一致性与对遮挡的鲁棒性。
• 在基准数据集上实现最先进性能，尤其在处理因遮挡导致的信息缺失方面表现优异。

提出的方法

• 提出一种人体关节GCN，利用2D姿态估计器输出的置信度分数作为有向图中的边权重，将可靠关节信息传播至被遮挡或置信度低的关节。
• 提出一种人体骨骼GCN，利用部件关联场置信度分数建模骨骼连接关系，提供超越关节位置的互补空间上下文信息。
• 通过拼接关节-GCN与骨骼-GCN的特征，并输入全连接层，逐帧预测以人物为中心的3D姿态。
• 利用关节-TCN建模人物中心姿态序列中连续帧之间的相关性，以实现时间平滑性与人体动力学约束。
• 引入速度-TCN，从历史帧中估计关节速度，通过利用运动先验提升对遮挡的鲁棒性。
• 基于弱透视相机模型开发根-TCN，通过估计相对深度（Z/f）来预测相机中心3D姿态，从而无需相机参数。

实验结果

研究问题

• RQ1 基于置信度分数的有向图GCN是否能提升3D姿态估计中被遮挡或置信度低的关节的空间恢复能力？
• RQ2 骨骼层面的关系如何与关节层面的信息互补，以增强3D姿态估计的鲁棒性？
• RQ3 时间卷积网络在单目视频序列中能在多大程度上提升姿态估计的准确率与对遮挡的鲁棒性？
• RQ4 是否可以在不依赖相机参数的前提下实现相机中心3D姿态估计，同时保持高精度？
• RQ5 所提框架在处理因遮挡或人物出框导致的信息缺失方面，与最先进方法相比表现如何？

主要发现

• 在MuPoTS-3D数据集上，该方法达到30.4 mm的PA-MPJPE，原始测试集上排名第二，子集上排名第三，表现出强大的泛化能力。
• 从原始测试集到子集，PA-MPJPE仅增加21.5 mm，性能差距显著缩小，优于表现最佳的基线方法（增加29.7–30.6 mm）。
• 在Human3.6M数据集上，该方法在相机中心姿态估计中达到88.1 mm的MPRE，相比之前最先进方法（120 mm）提升31.9 mm，表明在多人场景中性能更优。
• 速度-TCN模块通过利用运动动态提升对遮挡的鲁棒性，其在处理缺失数据方面优于关节-TCN，因其聚焦于运动预测。
• 根-TCN成功仅通过相对深度（Z/f）估计相机中心姿态，无需相机标定，使系统可部署于真实世界场景。
• 定性结果表明，完整框架能有效捕捉多人之间的相对位置关系，且在处理遮挡方面优于基线方法，关节定位错误更少。