[论文解读] Cross-View Tracking for Multi-Human 3D Pose Estimation at over 100 FPS

Long Chen, Haizhou Ai+3 more|arXiv (Cornell University)|Mar 9, 2020

Human Pose and Action Recognition参考文献 33被引用 12

一句话总结

本文提出了一种用于多台校准摄像头的实时多人3D姿态估计的跨视角跟踪框架，通过利用时间一致性，迭代地将2D姿态匹配到3D空间中的3D姿态。通过在时间上更新3D姿态而非从头开始重新关联，该方法在12台摄像头下实现154 FPS，在28台摄像头下实现34 FPS，显著提升了效率，并增强了对遮挡和噪声2D检测的鲁棒性。

ABSTRACT

Estimating 3D poses of multiple humans in real-time is a classic but still challenging task in computer vision. Its major difficulty lies in the ambiguity in cross-view association of 2D poses and the huge state space when there are multiple people in multiple views. In this paper, we present a novel solution for multi-human 3D pose estimation from multiple calibrated camera views. It takes 2D poses in different camera coordinates as inputs and aims for the accurate 3D poses in the global coordinate. Unlike previous methods that associate 2D poses among all pairs of views from scratch at every frame, we exploit the temporal consistency in videos to match the 2D inputs with 3D poses directly in 3-space. More specifically, we propose to retain the 3D pose for each person and update them iteratively via the cross-view multi-human tracking. This novel formulation improves both accuracy and efficiency, as we demonstrated on widely-used public datasets. To further verify the scalability of our method, we propose a new large-scale multi-human dataset with 12 to 28 camera views. Without bells and whistles, our solution achieves 154 FPS on 12 cameras and 34 FPS on 28 cameras, indicating its ability to handle large-scale real-world applications. The proposed dataset is released at https://github.com/longcw/crossview_3d_pose_tracking.

研究动机与目标

• 解决在多人密集、多摄像头场景中因视角交叉导致的2D姿态关联模糊问题。
• 降低大规模多摄像头系统中联合关联随摄像头数量增加而急剧上升的计算复杂度。
• 通过利用多视角3D一致性，提升对噪声2D关键点检测和部分遮挡的鲁棒性。
• 在大规模部署中实现超过100 FPS的实时3D姿态估计，包括最多28台摄像头的系统。
• 通过引入一个新的大规模多摄像头数据集，为实际监控和行为分析提供可扩展的解决方案。

提出的方法

• 提出一种迭代的跨视角多人跟踪框架，通过在时间上持续维护和更新3D姿态，而非同时重新处理所有视角。
• 基于对极几何和3D关节点一致性，在3D空间中使用几何相似度度量，将每台摄像头的2D检测匹配到现有的3D姿态。
• 提出一种新颖的增量式3D重建算法，通过跨视角匹配的2D检测进行三角测量，以优化3D姿态。
• 在相似度函数中引入时间惩罚项（$\lambda_a$, $\lambda_t$）以利用时间一致性，提升帧间跟踪的稳定性。
• 采用加权融合2D与3D相似度（$w_{2D}=0.4$, $w_{3D}=0.6$），在检测质量与几何一致性之间取得平衡。
• 使用带循环一致性约束的图分割方法解决关联模糊性，确保跨视角的合理个体分组。

实验结果

研究问题

• RQ1 与批量跨视角关联相比，跨多视角的迭代3D姿态跟踪是否能降低计算复杂度？
• RQ2 视频中的时间一致性在多大程度上提升了对噪声2D关键点检测和部分遮挡的鲁棒性？
• RQ3 该3D姿态跟踪框架在大规模摄像头系统（如28台摄像头）中能扩展到何种程度，同时保持实时性能？
• RQ4 在公开基准和大规模实际部署环境中，该方法与最先进方法相比在准确率和速度上表现如何？
• RQ5 不同的相似度加权与阈值策略对跟踪准确率和稳定性有何影响？

主要发现

• 该方法在12台摄像头下实现154 FPS，在28台摄像头下实现34 FPS，证明了其在大规模实际部署中的可扩展性。
• 在Campus、Shelf和CMU Panoptic数据集上，该方法分别取得了96.63%、96.58%和96.49%的SOTA PCP分数，且关联准确率高。
• 消融实验表明，3D相似度对性能至关重要，即使在禁用2D相似度的情况下，关联准确率仍达96.38%。
• 所提出的包含12至28个摄像头视角的数据集，使模型在标准基准之外的可扩展性和实际应用性得以评估。
• 与基于成对对极约束和图分割的基线方法相比，该方法在高遮挡的密集人群场景中表现更优。
• 即使在低帧率下（如Store数据集中10 FPS），该框架仍保持高准确率，表明其对时间变化具有强鲁棒性。