[论文解读] Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking

Yiding Yang, Zhou Ren+4 more|arXiv (Cornell University)|Jun 7, 2021

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出一种基于图神经网络（GNN）的方法，通过从历史姿态轨迹中学习人体姿态动态，实现不依赖视觉检测的未来姿态预测，从而在遮挡或杂乱场景中实现鲁棒的姿态估计。通过将预测的动态与检测到的姿态融合，该方法在PoseTrack 2017和2018上达到最先进性能，显著减少了漏检和跟踪切换。

ABSTRACT

Multi-person pose estimation and tracking serve as crucial steps for video understanding. Most state-of-the-art approaches rely on first estimating poses in each frame and only then implementing data association and refinement. Despite the promising results achieved, such a strategy is inevitably prone to missed detections especially in heavily-cluttered scenes, since this tracking-by-detection paradigm is, by nature, largely dependent on visual evidences that are absent in the case of occlusion. In this paper, we propose a novel online approach to learning the pose dynamics, which are independent of pose detections in current fame, and hence may serve as a robust estimation even in challenging scenarios including occlusion. Specifically, we derive this prediction of dynamics through a graph neural network~(GNN) that explicitly accounts for both spatial-temporal and visual information. It takes as input the historical pose tracklets and directly predicts the corresponding poses in the following frame for each tracklet. The predicted poses will then be aggregated with the detected poses, if any, at the same frame so as to produce the final pose, potentially recovering the occluded joints missed by the estimator. Experiments on PoseTrack 2017 and PoseTrack 2018 datasets demonstrate that the proposed method achieves results superior to the state of the art on both human pose estimation and tracking tasks.

研究动机与目标

• 解决基于检测的姿态跟踪在缺乏视觉线索的遮挡或杂乱场景中的局限性。
• 减少因运动模糊或遮挡导致视觉检测器失效而引起的漏检和跟踪切换。
• 通过使用可学习的GNN预测器建模人体姿态的时间动态，提升姿态跟踪的鲁棒性。
• 在统一的、端到端可微分框架中，将学习到的动态与视觉检测结果融合，以增强姿态估计性能。

提出的方法

• 训练图神经网络（GNN）从历史姿态轨迹中预测未来姿态，建模身体关节之间的时空关系。
• GNN将过去姿态序列处理为图结构，其中节点代表关节，边编码空间和时间依赖关系。
• 姿态预测不依赖于当前帧的视觉检测，从而在遮挡或运动模糊期间保持鲁棒性。
• 通过可学习的融合机制，将预测姿态与当前帧的检测姿态融合，生成最终的精炼估计结果。
• GNN使用注意力机制动态加权关节间关系，其学习到的注意力权重可视化显示关键关节的相互作用。
• 整个系统采用端到端训练，联合优化关节特征与动态参数。

实验结果

研究问题

• RQ1 基于GNN的模型能否从历史轨迹中学习可靠的姿态动态，实现在不依赖当前帧视觉检测情况下的未来姿态预测？
• RQ2 将学习到的姿态动态融入后，能否在遮挡和运动模糊等挑战性场景中提升性能？
• RQ3 记忆长度和模型容量对姿态预测的准确性和鲁棒性有何影响？
• RQ4 将预测动态与视觉检测融合的方法，在跟踪准确性和稳定性方面，相较于传统基于检测的跟踪方法有何差异？

主要发现

• 所提方法在PoseTrack 2017验证集上达到mAP 81.1和MOTA 73.4，优于最先进方法。
• 在PoseTrack 2018上，该方法实现mAP 69.2和MOTA 69.2，展现出在姿态估计与跟踪两方面的优越性能。
• 消融实验表明，使用GNN预测姿态作为匹配度量可将切换率降低至1.3%，相比IOU和OKS基线提升MOTA 1.3个百分点。
• 当记忆长度为四帧时，模型性能趋于饱和，表明超过此窗口后收益递减。
• 注意力权重可视化显示，髋部和膝盖等关键关节对预测结果影响显著，反映出合理的人体运动动态。
• 增大模型规模可同时提升mAP与MOTA，证实更高容量在学习复杂动态方面的优势。