[论文解读] Hybrid-SORT: Weak Cues Matter for Online Multi-Object Tracking

Mingzhan Yang, Guangxin Han+5 more|arXiv (Cornell University)|Aug 1, 2023

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出 Hybrid-SORT，一种简单、在线且实时的多目标跟踪方法，通过结合传统强提示（空间和外观）与弱提示（置信度状态、高度状态和速度方向），显著提升跟踪精度。通过引入轨迹片段置信度建模（TCM）和高度调制 IoU（HMIoU），Hybrid-SORT 在遮挡和聚类场景下显著改善了关联性能，在 MOT17、MOT20 和尤其是 DanceTrack 上实现了最先进结果，且以即插即用、无需训练的方式在五种不同跟踪器中保持一致的性能提升。

ABSTRACT

Multi-Object Tracking (MOT) aims to detect and associate all desired objects across frames. Most methods accomplish the task by explicitly or implicitly leveraging strong cues (i.e., spatial and appearance information), which exhibit powerful instance-level discrimination. However, when object occlusion and clustering occur, spatial and appearance information will become ambiguous simultaneously due to the high overlap among objects. In this paper, we demonstrate this long-standing challenge in MOT can be efficiently and effectively resolved by incorporating weak cues to compensate for strong cues. Along with velocity direction, we introduce the confidence and height state as potential weak cues. With superior performance, our method still maintains Simple, Online and Real-Time (SORT) characteristics. Also, our method shows strong generalization for diverse trackers and scenarios in a plug-and-play and training-free manner. Significant and consistent improvements are observed when applying our method to 5 different representative trackers. Further, with both strong and weak cues, our method Hybrid-SORT achieves superior performance on diverse benchmarks, including MOT17, MOT20, and especially DanceTrack where interaction and severe occlusion frequently happen with complex motions. The code and models are available at https://github.com/ymzis69/HybridSORT.

研究动机与目标

• 解决多目标跟踪（MOT）中强提示（空间和外观）在遮挡和目标聚类下性能下降的长期挑战。
• 探究此前被忽视的弱提示是否能有效补偿此类场景下模糊的强提示。
• 设计一种在保持 SORT 的简洁性、在线性和实时性的同时，提升对遮挡和运动复杂性的鲁棒性的方法。
• 在无需微调或架构修改的情况下，验证方法在多种跟踪器和基准上的泛化能力。
• 开发一种即插即用、无需训练的解决方案，通过集成弱提示以极低计算开销增强现有跟踪器。

提出的方法

• 提出轨迹片段置信度建模（TCM），利用卡尔曼滤波和线性预测估计轨迹片段的置信度状态，实现基于遮挡/被遮挡关系的可靠关联。
• 提出高度调制 IoU（HMIoU），将标准 IoU 与基于卡尔曼滤波高度状态生成的高度轴 IoU 矩阵融合，提升密集场景下的关联鲁棒性。
• 采用增强的观测中心动量（OCM）机制建模速度方向，该机制从框中心扩展至角点，并支持多种时间间隔。
• 引入额外的关联阶段用于低置信度检测，受 ByteTrack 启发，以提升对被遮挡或模糊目标的跟踪能力。
• 将 TCM 和 HMIoU 作为即插即用模块集成到五种代表性跟踪器（SORT、DeepSORT、MOTDT、ByteTrack、OC-SORT）中，验证其兼容性与一致性能提升。
• 利用卡尔曼滤波建模高度和置信度状态，利用其时间连续性实现即使在姿态变化或部分遮挡下仍稳定的估计。

实验结果

研究问题

• RQ1 置信度状态、高度状态和速度方向等弱提示是否能有效缓解多目标跟踪中因遮挡和聚类导致的对象关联模糊性？
• RQ2 弱提示如何在不损害其简洁性、在线性或实时性的情况下，被建模并集成到现有 SORT 类跟踪器中？
• RQ3 弱提示在严重遮挡和复杂运动等挑战性条件下，对多种基准上的跟踪性能提升程度如何？
• RQ4 所提方法是否能在不同跟踪器架构间泛化，包括仅依赖空间信息或使用外观特征的跟踪器？
• RQ5 弱提示的集成是否能以即插即用、无需训练的方式实现，从而在不重新训练的情况下增强现有跟踪器？

主要发现

• Hybrid-SORT 在 DanceTrack 基准上达到最先进性能，HOTA 得分为 51.80，显著优于基线 OC-SORT 和其他跟踪器。
• 在 MOT17 上，Hybrid-SORT 达到 66.52 HOTA，较基线提升 0.2，表明在中等挑战场景下也保持一致性能增益。
• 轨迹片段置信度建模（TCM）在 DanceTrack 上使 DeepSORT 提升 4.9 HOTA，在 MOT17 上提升 0.9 HOTA，证实其在多种跟踪器中的有效性。
• 高度调制 IoU（HMIoU）在 DanceTrack 上使 SORT 提升 1.6 HOTA，在 MOT17 上提升 1.0 HOTA，表明基于高度的成本融合可增强关联精度。
• HMIoU 优于基于宽度的变体（WMIoU），后者导致性能下降，证实高度作为弱提示比宽度更稳定、更具信息量，因其具有更一致的时间动态特性。
• 该方法在五种不同跟踪器（SORT、DeepSORT、MOTDT、ByteTrack 和 OC-SORT）上均实现一致且显著的性能提升，验证了其即插即用和无需训练的设计。