[论文解读] Local Metrics for Multi-Object Tracking

Jack Valmadre, Alex Bewley+4 more|arXiv (Cornell University)|Apr 6, 2021

Video Surveillance and Tracking Methods参考文献 78被引用 8

一句话总结

本文提出了多目标跟踪的局部度量方法——ALTA（平均局部跟踪精度），该方法在严格度量ATA的基础上引入时间窗口参数，用于在有限时间窗口内评估跟踪性能。该方法实现了对关联错误的细粒度分析，揭示出MAT和Lif_T等跟踪器在长时间跨度下能更好地维持身份一致性，而TubeTK等短期跟踪器则迅速退化，表明ALTA对关联质量的敏感性优于传统指标，且独立于检测性能。

ABSTRACT

This paper introduces temporally local metrics for Multi-Object Tracking. These metrics are obtained by restricting existing metrics based on track matching to a finite temporal horizon, and provide new insight into the ability of trackers to maintain identity over time. Moreover, the horizon parameter offers a novel, meaningful mechanism by which to define the relative importance of detection and association, a common dilemma in applications where imperfect association is tolerable. It is shown that the historical Average Tracking Accuracy (ATA) metric exhibits superior sensitivity to association, enabling its proposed local variant, ALTA, to capture a wide range of characteristics. In particular, ALTA is better equipped to identify advances in association independent of detection. The paper further presents an error decomposition for ATA that reveals the impact of four distinct error types and is equally applicable to ALTA. The diagnostic capabilities of ALTA are demonstrated on the MOT 2017 and Waymo Open Dataset benchmarks.

研究动机与目标

• 解决现有多目标跟踪度量方法在时间敏感性和错误类型可区分性方面的不足。
• 通过可调的时间窗口参数，提供一种平衡检测与关联性能的有意义机制。
• 通过将ATA分解为四种不同的错误类型，实现对跟踪错误的诊断。
• 在MOT 2017和Waymo Open Dataset上使用ALTA评估最先进跟踪器，揭示其在时间维度上身份维持能力的性能差异。
• 证明ALTA对关联性能改进的敏感性优于传统度量指标（如IDF1或MOTA）

提出的方法

• 提出ALTA作为严格度量ATA的局部变体，将轨迹匹配限制在每个帧t周围的时间窗口r内。
• 使用时空交并比（IoU）计算窗口内轨迹的相似性，实现帧级对应关系。
• 将ATA的错误类型分解为四种独立类型：误报、漏检、身份切换和未检测到的轨迹。
• 对ALTA应用相同的分解方法，实现对不同时间窗口长度下错误类型分布变化的分析。
• 利用时间窗口参数定义特定应用场景的评估标准，其中更长的窗口更强调长期身份一致性。
• 在MOT 2017和Waymo Open Dataset基准上，使用最先进跟踪器验证该方法的有效性。

实验结果

研究问题

• RQ1 如何使跟踪度量对身份维持的时间动态变化更加敏感？
• RQ2 能否设计一种局部度量方法，以更好地区分关联性能与检测性能？
• RQ3 不同跟踪器架构在不同时间窗口长度下，其身份一致性表现如何？
• RQ4 跟踪性能中的错误类型分布是怎样的？其随时间窗口参数的变化趋势如何？
• RQ5 与MOTA、IDF1或HOTA等现有度量相比，ALTA是否能提供更优的诊断洞察？

主要发现

• 与IDF1和MOTA相比，ALTA对关联性能改进表现出更优的敏感性，尤其在检测长期身份维持进展方面。
• MAT和Lif_T等跟踪器在时间窗口逐渐增大时仍保持较高的ALTA得分，表明其具备强大的长期跟踪能力。
• TubeTK等跟踪器尽管检测精度高，但随着时间窗口增大，ALTA性能迅速下降，凸显其对短期关联的依赖性。
• 对ATA的错误分解表明，身份切换和漏检是主要错误类型，且其相对贡献随时间窗口长度而变化。
• 在Waymo Open Dataset上，Quasi-Dense R101在行人任务中取得最高的ALTA(5s)得分0.458，优于其他跟踪器在长时序身份一致性方面的表现。
• 证明ATA/DetF1比率是一种有用的诊断指标，该值越高，表明关联性能相对于检测性能越优。