[论文解读] Combining detection and tracking for human pose estimation in videos

Manchen Wang, Joseph Tighe+1 more|arXiv (Cornell University)|Mar 30, 2020

Human Pose and Action Recognition参考文献 34被引用 5

一句话总结

该论文提出了一种新颖的自顶向下方法，用于在视频中进行多人姿态估计与跟踪，通过结合检测到的人体边界框的时间传播与3D高分辨率网络（HRNet），在短视频片段上联合检测关键点与跟踪。通过在多个姿态假设之间建立空间-时间一致性，该方法可纠正检测错误，并在PoseTrack 2017和2018数据集上实现最先进性能，相比先前方法将关键点检测误差降低28%，跟踪误差降低9%。

ABSTRACT

We propose a novel top-down approach that tackles the problem of multi-person human pose estimation and tracking in videos. In contrast to existing top-down approaches, our method is not limited by the performance of its person detector and can predict the poses of person instances not localized. It achieves this capability by propagating known person locations forward and backward in time and searching for poses in those regions. Our approach consists of three components: (i) a Clip Tracking Network that performs body joint detection and tracking simultaneously on small video clips; (ii) a Video Tracking Pipeline that merges the fixed-length tracklets produced by the Clip Tracking Network to arbitrary length tracks; and (iii) a Spatial-Temporal Merging procedure that refines the joint locations based on spatial and temporal smoothing terms. Thanks to the precision of our Clip Tracking Network and our merging procedure, our approach produces very accurate joint predictions and can fix common mistakes on hard scenarios like heavily entangled people. Our approach achieves state-of-the-art results on both joint detection and tracking, on both the PoseTrack 2017 and 2018 datasets, and against all top-down and bottom-down approaches.

研究动机与目标

• 解决自顶向下姿态估计在视频中面临的问题，即当个体被遮挡或纠缠时，人体检测器常会失效。
• 通过利用时间一致性与多帧推理，提升姿态估计精度，即使在检测器漏检人员的情况下也能保持鲁棒性。
• 开发一种方法，通过时间传播与联合假设优化，从检测失败中恢复。
• 在姿态检测与跟踪基准上均实现最先进性能，超越自顶向下与自底向上方法。

提出的方法

• 基于3D HRNet的片段跟踪网络，采用早期阶段的3D卷积，以在短视频片段上联合检测身体关键点并跟踪它们。
• 视频跟踪流水线通过时间关联与空间一致性，将重叠的短轨迹合并为长期人员轨迹。
• 空间-时间合并过程通过强制多个姿态假设之间的空间邻近性与时间平滑性，选择最优关键点位置。
• 该方法在时间上正向与反向传播已知的人体边界框，以在检测失败的帧中仍能创建空间-时间管状结构用于关键点预测。
• 3D HRNet架构旨在学习关键点间的时间对应关系，消融实验表明早期3D卷积能取得最佳性能。
• 系统采用关键帧策略并可调节步长，以在推理速度与精度之间取得平衡，实现与帧采样率降低成线性关系的速度提升。

实验结果

研究问题

• RQ1 能否通过人体检测的时间传播，在因遮挡或运动模糊导致检测失败的视频中提升姿态估计性能？
• RQ2 如何在短视频片段上联合优化关键点检测与跟踪，以提升对困难姿态与遮挡的鲁棒性？
• RQ3 基于共识的空间-时间合并过程能否有效纠正单个姿态假设的误预测？
• RQ4 在复杂场景（如纠缠）下，自顶向下方法在多人视频姿态跟踪中能多大程度上超越自底向上方法？
• RQ5 该方法对人体检测器质量的敏感程度如何？能否通过时间推理补偿弱检测器的缺陷？

主要发现

• 所提方法在PoseTrack 2017与2018上均实现最先进性能，相比先前自顶向下方法将关键点检测误差降低28%。
• 在PoseTrack 2018上，该方法将跟踪误差降低9%，优于所有现有的自顶向下与自底向上方法。
• 采用早期3D卷积的3D HRNet（‘Early’设计）表现最佳，优于在后期阶段使用3D卷积或完全3D架构的模型。
• 即使使用性能较弱的MobileNet-V2检测器，该方法仍通过时间传播恢复了最多7%的漏检人员。
• 当步长为8时，模型仅每8帧运行一次人体检测器，实现12.5倍的速度提升，同时保持了具有竞争力的mAP（78.9）与MOTA（67.2）。
• 空间-时间合并过程成功纠正了误判——如在纠缠个体间交换膝盖位置——展示了在复杂场景中的鲁棒性。