[论文解读] LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking

Guanghan Ning, Heng Huang|arXiv (Cornell University)|May 7, 2019

Human Pose and Action Recognition参考文献 29被引用 11

一句话总结

LightTrack 提出了一种通用的、实时的在线自顶向下人体姿态跟踪框架，通过使用孪生图卷积网络（SGCN）统一单人姿态跟踪与多人身份关联，实现基于骨骼的姿态匹配。该方法在保持高帧率的同时，实现了在线方法中的最先进性能，优于现有在线方法，并与离线SOTA方法相当，达到47.11 fps（不包括姿态推理）。

ABSTRACT

In this paper, we propose a novel effective light-weight framework, called LightTrack, for online human pose tracking. The proposed framework is designed to be generic for top-down pose tracking and is faster than existing online and offline methods. Single-person Pose Tracking (SPT) and Visual Object Tracking (VOT) are incorporated into one unified functioning entity, easily implemented by a replaceable single-person pose estimation module. Our framework unifies single-person pose tracking with multi-person identity association and sheds first light upon bridging keypoint tracking with object tracking. We also propose a Siamese Graph Convolution Network (SGCN) for human pose matching as a Re-ID module in our pose tracking system. In contrary to other Re-ID modules, we use a graphical representation of human joints for matching. The skeleton-based representation effectively captures human pose similarity and is computationally inexpensive. It is robust to sudden camera shift that introduces human drifting. To the best of our knowledge, this is the first paper to propose an online human pose tracking framework in a top-down fashion. The proposed framework is general enough to fit other pose estimators and candidate matching mechanisms. Our method outperforms other online methods while maintaining a much higher frame rate, and is very competitive with our offline state-of-the-art. We make the code publicly available at: https://github.com/Guanghan/lighttrack.

研究动机与目标

• 解决真正在线、高效且准确的自顶向下人体姿态跟踪框架的缺乏问题。
• 在一个通用、模块化的系统中统一单人姿态跟踪与多人身份关联。
• 开发一种计算高效的重识别（Re-ID）模块，利用骨骼结构实现鲁棒的姿态匹配。
• 实现实时性能，不依赖未来帧信息，与大多数离线方法不同。
• 构建一个灵活的框架，支持可互换的姿态估计器和匹配机制，以实现未来可扩展性。

提出的方法

• 提出一种自顶向下、在线的姿态跟踪框架，首帧检测人体候选区域，并使用可替换的单人姿态估计器进行跟踪。
• 使用显式的人员关节点特征以保持边界框一致性，并减轻数据关联负担。
• 提出一种孪生图卷积网络（SGCN），将人体关节点建模为图结构，以计算姿态相似性用于重识别（Re-ID）。
• 采用基于骨骼的表示方法，相比视觉特征提取，可提升对相机漂移的鲁棒性并降低计算成本。
• 仅在关键帧使用SGCN进行数据关联，最大限度减少实时跟踪中的处理开销。
• 设计模块化系统，支持替换姿态估计器和匹配模块，以实现性能或速度优化。

实验结果

研究问题

• RQ1 能否设计一种真正在线、通用的自顶向下人体姿态跟踪框架，在保持高准确率和高帧率的同时实现高性能？
• RQ2 基于骨骼的图表示在减少身份混淆和处理相机漂移方面有多有效？
• RQ3 在实时约束下，孪生图卷积网络（SGCN）是否能优于传统的视觉重识别（Re-ID）模块？
• RQ4 该框架的模块化设计在通过组件替换实现性能提升方面具有多大程度的潜力？
• RQ5 所提出的在线方法在准确率和速度方面与最先进的离线方法相比如何？

主要发现

• LightTrack 在 PoseTrack 数据集上优于所有现有在线姿态跟踪方法，使用 CPN101 时达到 72.4 / 66.3 mAP/MOTA，使用 MSRA152 时达到 73.3 / 66.4。
• 该框架实现 47.11 fps 的帧率（不包括姿态推理），显著快于其他在线方法。
• SGCN 重识别模块通过利用姿态结构的一致性，减少了由视觉相似性和相机漂移引起的误报。
• 基于骨骼的表示计算效率高，平均每次姿态匹配仅需 2.9 ms。
• 即使使用轻量化组件，系统仍保持高准确率，在 YOLOv3 和 MobileNetv1-deconv 下实现 2 fps 时达到 70.4 mAP 和 55.7% MOTA。
• 消融实验表明，检测性能的提升可直接带来 MOTA 的改善，验证了框架在采用更优组件时的可扩展性。