[论文解读] Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

Fan Yang, Shigeyuki Odashima+2 more|arXiv (Cornell University)|Nov 24, 2022

Human Pose and Action Recognition被引用 6

一句话总结

该论文提出了一种级联缓冲IoU（C-BIoU）跟踪器，通过按比例缩放的缓冲区扩展匹配空间，以改善具有不规则运动和难以区分外观的物体跟踪。该方法增强了帧间几何一致性，在DanceTrack上实现最先进性能，并在CVPR’22和ECCV’22 MOT挑战赛中排名第二。

ABSTRACT

We propose a Cascaded Buffered IoU (C-BIoU) tracker to track multiple objects that have irregular motions and indistinguishable appearances. When appearance features are unreliable and geometric features are confused by irregular motions, applying conventional Multiple Object Tracking (MOT) methods may generate unsatisfactory results. To address this issue, our C-BIoU tracker adds buffers to expand the matching space of detections and tracks, which mitigates the effect of irregular motions in two aspects: one is to directly match identical but non-overlapping detections and tracks in adjacent frames, and the other is to compensate for the motion estimation bias in the matching space. In addition, to reduce the risk of overexpansion of the matching space, cascaded matching is employed: first matching alive tracks and detections with a small buffer, and then matching unmatched tracks and detections with a large buffer. Despite its simplicity, our C-BIoU tracker works surprisingly well and achieves state-of-the-art results on MOT datasets that focus on irregular motions and indistinguishable appearances. Moreover, the C-BIoU tracker is the dominant component for our 2-nd place solution in the CVPR'22 SoccerNet MOT and ECCV'22 MOTComplex DanceTrack challenges. Finally, we analyze the limitation of our C-BIoU tracker in ablation studies and discuss its application scope.

研究动机与目标

• 解决多目标跟踪中因外观特征不可靠和运动估计误差导致传统MOT方法失效的挑战，尤其针对外观难以区分且运动不规则的物体。
• 缓解因快速运动或运动预测不准确导致检测框与轨迹在帧间不重叠而引发的跟踪失败问题。
• 通过级联匹配策略，在保持对运动不规则性鲁棒性的同时，降低匹配空间过度扩展的风险。
• 开发一种简单但高效的跟踪器，在强调复杂运动与外观条件的数据集上超越现有方法。

提出的方法

• 提出缓冲IoU（BIoU），通过添加与原始框尺寸成比例的缓冲区扩展边界框的空间匹配区域，同时保持中心点、尺度和宽高比不变。
• 将BIoU应用于在无重叠的检测框与轨迹之间建立时空相似性，实现在IoU因缺乏重叠而失效时仍可直接匹配。
• 实施级联匹配策略：首先使用较小缓冲区匹配活跃轨迹与检测框，以减少误匹配；随后对未匹配对使用更大缓冲区重新匹配，以恢复遗漏关联。
• 利用BIoU提供的几何一致性补偿运动估计偏差，提升对突然加速或转向的鲁棒性。
• 将BIoU集成到轻量化在线MOT框架中，仅在有可用时依赖外观特征，但主要依赖几何匹配。
• 采用YOLOX生成的检测框作为输入，确保与标准检测流程兼容，并支持与最先进方法的公平比较。

实验结果

研究问题

• RQ1 通过缓冲IoU扩展匹配空间，能否提升对不规则运动和难以区分外观物体的跟踪性能？
• RQ2 采用不同缓冲尺寸的级联匹配策略，如何影响匹配准确率与过度扩展风险之间的权衡？
• RQ3 C-BIoU跟踪器在高运动不规则性和外观模糊性数据集上，相较于现有MOT方法的性能优势有多大？
• RQ4 在检测质量下降的情况下，C-BIoU跟踪器的鲁棒性如何，特别是在高误报率和漏报率条件下？

主要发现

• 在使用理想检测框的DanceTrack验证集上，C-BIoU跟踪器取得81.7的HOTA分数，显著优于OC-SORT（79.1）和基线IoU跟踪器（76.6）。
• 在同一数据集上，C-BIoU跟踪器相比基线IoU跟踪器提升IDF1 4.9分，相比OC-SORT提升4.4分，证明其具有更高的跟踪精度。
• 在20%检测噪声下，C-BIoU跟踪器保持62.3的HOTA分数，优于IoU跟踪器（57.6）和OC-SORT（61.4），表明其对中等噪声具有较强鲁棒性。
• 在40%检测噪声下，C-BIoU跟踪器性能下降至HOTA 29.2，低于IoU跟踪器（38.3），表明在极端检测噪声下其鲁棒性减弱。
• C-BIoU跟踪器在CVPR’22 SoccerNet MOT和ECCV’22 MOTComplex DanceTrack挑战赛中均获得第二名，证实其在真实场景中的有效性。
• 消融实验表明，缓冲比为0.2时取得最佳平衡，更高比例（如0.4）会因过度扩展和误匹配增加而降低性能。