[论文解读] Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification
Deep OC-SORT 将自适应外观线索与基于运动的 OC-SORT 基础结合,在 MOT17、MOT20 和 DanceTrack 上实现最先进的 HOTA 得分,同时保持在线。
Motion-based association for Multi-Object Tracking (MOT) has recently re-achieved prominence with the rise of powerful object detectors. Despite this, little work has been done to incorporate appearance cues beyond simple heuristic models that lack robustness to feature degradation. In this paper, we propose a novel way to leverage objects' appearances to adaptively integrate appearance matching into existing high-performance motion-based methods. Building upon the pure motion-based method OC-SORT, we achieve 1st place on MOT20 and 2nd place on MOT17 with 63.9 and 64.9 HOTA, respectively. We also achieve 61.3 HOTA on the challenging DanceTrack benchmark as a new state-of-the-art even compared to more heavily-designed methods. The code and models are available at \url{https://github.com/GerardMaggiolino/Deep-OC-SORT}.
研究动机与目标
- 激励鲁棒多目标跟踪,通过有效地将外观线索融入超越简单启发式的方法。
- 将 OC-SORT 扩展为具有自适应外观、相机运动补偿和加权外观匹配。
- 使用相同检测显示在具有挑战性的基准上的在线性能提升。
- 提供一个可重复使用的基线,使运动模型与外观信息协同,为未来研究服务。
提出的方法
- 在 OC-SORT 的基础上添加 Camera Motion Compensation (CMC),以在移动摄像头下对齐状态。
- 通过使用检测器置信度使 EMA 外观逐帧更新,引入 Dynamic Appearance (DA)。
- 开发 Adaptive Weighting (AW),基于轨迹和检测之间的辨别性对外观相似度进行加权。
- 在数据关联代价矩阵中使用带权外观代价与 IoU 相结合,以改善匹配。
- 在卡尔曼外推之前应用 CMC 更新,确保运动预测从相机校正后的状态开始。
- 采用固定的外观 EMA 基线,alpha_f = 0.95,并将 alpha_t 作为检测置信度 s_det 和阈值 sigma 的函数来计算。
实验结果
研究问题
- RQ1自适应的逐帧外观更新是否能在不增加超参数的情况下,在遮挡和模糊情形下提升跟踪鲁棒性?
- RQ2将相机运动补偿与即插即用的运动模型结合,是否在标准 MOT 和 DanceTrack 基准上产生可测量的提升?
- RQ3对在线 MOT 的数据关联而言,外观线索的辨别性、自适应加权有多有效?
- RQ4使用相同检测器在纯在线设定中结合外观与运动的性能影响如何?
- RQ5提出的 Deep OC-SORT 方法是否为未来在 MOT 中进行外观-运动融合的更强基线?
主要发现
- Deep OC-SORT 在 MOT17-test 上达到 64.9 HOTA,在 MOT20-test 上达到 63.9 HOTA,在 DanceTrack-test 上达到 61.3 HOTA,超越了先前的在线方法。
- 在 MOT17 与 MOT20 上,Deep OC-SORT 优于包括 OC-SORT 与 ByteTrack 在内的若干基线,同时保持在线且无离线后处理。
- 动态外观与自适应加权在消融实验中持续提升 MOT17、MOT20 与 DanceTrack 的 HOTA、AssA 与 IDF1。
- Camera Motion Compensation (CMC) 在 MOT17 与 DanceTrack 上带来增益,静态摄像头的 MOT20 显示的好处较小。
- 自适应外观框架除了 EMA 和检测阈值中的超参数外,不引入新的超参数,但带来显著的性能提升。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。