[论文解读] Multi-Person Tracking By Multi-Scale Detection in Basketball Scenarios

Adrià Arbués-Sangüesa|arXiv (Cornell University)|Jul 10, 2019

Video Surveillance and Tracking Methods参考文献 20被引用 2

一句话总结

本论文提出了一种基于粗到细方法和全高清帧滑动窗口检测的多尺度检测与跟踪系统，用于单摄像头篮球视频中球员的检测与跟踪，结合基于姿态的几何与内容特征。在新收集的包含超过10,000个边界框的数据集上，该方法实现了0.67的MOTA和较高的F1分数，展示了在遮挡和运动模糊情况下的鲁棒性能。

ABSTRACT

Tracking data is a powerful tool for basketball teams in order to extract advanced semantic information and statistics that might lead to a performance boost. However, multi-person tracking is a challenging task to solve in single-camera video sequences, given the frequent occlusions and cluttering that occur in a restricted scenario. In this paper, a novel multi-scale detection method is presented, which is later used to extract geometric and content features, resulting in a multi-person video tracking system. Having built a dataset from scratch together with its ground truth (more than 10k bounding boxes), standard metrics are evaluated, obtaining notable results both in terms of detection (F1-score) and tracking (MOTA). The presented system could be used as a source of data gathering in order to extract useful statistics and semantic analyses a posteriori.

研究动机与目标

• 解决单摄像头篮球视频中多人跟踪的挑战，其中遮挡和快速运动会降低性能。
• 开发一种轻量化、适合嵌入式设备的跟踪系统，适用于低功耗设备。
• 通过多尺度检测和姿态估计，在杂乱且受限的球场环境中提升检测与跟踪的准确性。
• 创建一个包含超过10,000个边界框的新大规模真实标注数据集，用于篮球跟踪评估。
• 使用标准指标评估多尺度检测和特征融合对跟踪性能的影响。

提出的方法

• 采用粗到细检测策略，在多个尺度上检测球员，提升对部分遮挡或模糊个体的检测能力。
• 在全高清帧上使用滑动窗口技术，增强检测灵敏度，尤其适用于小目标或快速移动目标。
• 通过线段提取和投票法检测球场边界，以定义感兴趣区域，减少观众或场外元素带来的误报。
• 对每个检测结果应用姿态模型，提取基于关键点的特征，以提升帧间跟踪的一致性。
• 在匹配过程中结合几何与内容特征（包括姿态相似性和IoU），并采用两帧记忆容限，以稳定跟踪结果。
• 采用全局优化框架，结合空间、时间与外观线索，在帧间匹配检测结果，最小化误报和漏检。

实验结果

研究问题

• RQ1 多尺度检测策略是否能提升在频繁遮挡的单摄像头篮球视频中的人体检测准确率？
• RQ2 粗到细与滑动窗口检测方法的结合，在低光照或运动模糊条件下，对检测召回率和精确率有何影响？
• RQ3 与仅依赖外观或仅依赖边界框的匹配方式相比，基于姿态的特征在多大程度上提升了跟踪的鲁棒性？
• RQ4 与最先进跟踪系统相比，该方法在新收集数据集上的MOTA和F1分数表现如何？
• RQ5 利用姿态模型提取的上下文特征是否能降低高遮挡场景下的跟踪误差？

主要发现

• 所提出的多尺度检测方法尽管召回率较低，但凭借显著更高的精确率和更少的误报，实现了优于基于YOLO的检测方法的F1分数。
• 粗到细与滑动窗口检测方法的结合使检测召回率相比单一方法提高了5%，有效减少了漏检。
• 在跟踪匹配过程中引入两帧记忆机制，使MOTA提升了5%，证明了时间一致性的优势。
• 该系统在新数据集上实现了0.67的MOTA，表明其在处理遮挡和快速运动方面具有强大性能。
• 使用全高清扫描进一步提升了跟踪性能，由于边界框对齐更精确，从而获得了更好的MOTP。
• 尽管仅使用CPU，该方法在MOTA上仍优于最先进联合跟踪+分割方法，而后者需要高性能计算资源。