[论文解读] ArtTrack: Articulated Multi-person Tracking in the Wild

Eldar Insafutdinov, Mykhaylo Andriluka+5 more|arXiv (Cornell University)|Dec 5, 2016

Human Pose and Action Recognition参考文献 8被引用 19

一句话总结

ArtTrack 通过结合稀疏肢体部位图与前馈卷积网络，提出了一种快速、自下而上的方法，用于在非受限视频中进行人体关节姿态的多人群体跟踪。该方法在 MPII Video Pose 和 We Are Family 数据集上实现了最先进（SOTA）的精度表现，同时相比之前的方法快了 24 倍，其优势源于时间推理与高效的空间-时间提议分组策略。

ABSTRACT

In this paper we propose an approach for articulated tracking of multiple people in unconstrained videos. Our starting point is a model that resembles existing architectures for single-frame pose estimation but is substantially faster. We achieve this in two ways: (1) by simplifying and sparsifying the body-part relationship graph and leveraging recent methods for faster inference, and (2) by offloading a substantial share of computation onto a feed-forward convolutional architecture that is able to detect and associate body joints of the same person even in clutter. We use this model to generate proposals for body joint locations and formulate articulated tracking as spatio-temporal grouping of such proposals. This allows to jointly solve the association problem for all people in the scene by propagating evidence from strong detections through time and enforcing constraints that each proposal can be assigned to one person only. We report results on a public MPII Human Pose benchmark and on a new MPII Video Pose dataset of image sequences with multiple people. We demonstrate that our model achieves state-of-the-art results while using only a fraction of time and is able to leverage temporal information to improve state-of-the-art for crowded scenes.

研究动机与目标

• 解决在存在遮挡、快速运动和外观多变情况下的非受限视频中的人体关节姿态多人群体跟踪问题。
• 克服端到端模型在人群密集场景中因人数未知而带来的局限性。
• 通过在时空上联合推理肢体部位关联，提升跟踪精度。
• 设计一种高效的推理框架，在保持高精度的同时降低计算成本。
• 构建一个新的基准数据集 MPII Video Pose，用于评估在真实、人群密集场景下的关节姿态跟踪性能。

提出的方法

• 使用仅包含必要空间连接的稀疏肢体部位关系图，以减少计算量。
• 训练一个前馈卷积网络来预测关节到个体的关联，将大部分推理任务从迭代优化中解放出来。
• 每帧使用自顶向下的检测头生成肢体部位提议，并通过时空图分割进行融合。
• 将跟踪建模为联合分配问题，强制执行每提议对应一人且个体之间互斥的约束。
• 引入时间特征（如检测距离、深度特征匹配、基于 SIFT 的相似性）以提升帧间跟踪的一致性。
• 应用局部组合优化以实现高效推理，从而支持实时性能。

实验结果

研究问题

• RQ1 稀疏且快速推理的模型能否在人体关节姿态多人群体跟踪任务中超越全连接模型？
• RQ2 前馈式关节到个体的关联机制在处理遮挡和复杂场景时效果如何？
• RQ3 时间建模在人群密集、非受限视频中对提升跟踪精度的贡献有多大？
• RQ4 自下而上的方法能否泛化到人数未知且遮挡严重的场景？
• RQ5 不同时间特征（几何、外观、SIFT）对跟踪鲁棒性的贡献分别是什么？

主要发现

• ArtTrack 在新构建的 MPII Video Pose 数据集上达到 73.1% AP，相比单帧基线模型（使用时间特征）提升了 1.5%。
• 在 We Are Family 数据集上，TD/BU 模型相比 DeeperCut 提升了 5.7% AP，尤其在手腕和肘部等困难部位表现更优。
• 所提方法相比最先进方法快 24 倍，同时保持相当或更优的精度。
• 时间特征（如 deepmatch 和 SIFT 距离）显著提升性能，尤其在快速运动和背景变化条件下。
• 通过显式自顶向下的推理与时间传播，模型成功重建了部分被遮挡的肢体（如后方的腿部）。
• 稀疏图模型在性能上与全连接模型相当，但推理成本大幅降低。