[论文解读] BASE: Probably a Better Approach to Multi-Object Tracking

Martin Vonheim Larsen, Sigmund Rolfsjord+3 more|arXiv (Cornell University)|Sep 21, 2023

Video Surveillance and Tracking MethodsComputer Science被引用 3

一句话总结

BASE 提出了一种极简的、基于概率的单假设跟踪器，通过整合距离感知运动模型、动态杂波估计、概率关联和校准的检测器置信度，在 MOT17 和 MOT20 上实现了最先进性能，证明了当关键视觉跟踪挑战被正确建模时，概率方法可以超越即兴设计的 SOTA 跟踪器。

ABSTRACT

The field of visual object tracking is dominated by methods that combine simple tracking algorithms and ad hoc schemes. Probabilistic tracking algorithms, which are leading in other fields, are surprisingly absent from the leaderboards. We found that accounting for distance in target kinematics, exploiting detector confidence and modelling non-uniform clutter characteristics is critical for a probabilistic tracker to work in visual tracking. Previous probabilistic methods fail to address most or all these aspects, which we believe is why they fall so far behind current state-of-the-art (SOTA) methods (there are no probabilistic trackers in the MOT17 top 100). To rekindle progress among probabilistic approaches, we propose a set of pragmatic models addressing these challenges, and demonstrate how they can be incorporated into a probabilistic framework. We present BASE (Bayesian Approximation Single-hypothesis Estimator), a simple, performant and easily extendible visual tracker, achieving state-of-the-art (SOTA) on MOT17 and MOT20, without using Re-Id. Code will be made available at https://github.com/ffi-no

研究动机与目标

• 为解决概率跟踪器在视觉多目标跟踪（VMOT）中表现不如即兴方法的问题。
• 识别并建模先前概率方法忽略的关键视觉跟踪挑战：非均匀运动学、杂波分布和检测器置信度。
• 证明当这些因素被正确考虑时，基于原理的概率框架可以实现 SOTA 性能。
• 为未来概率 VMOT 研究提供一个极简、可扩展且基于原理的基础。
• 表明概率关联和动态建模对性能至关重要，尤其是在结合校准置信度时。

提出的方法

• 用概率对应物替代传统 SHT 组件：概率门控、关联和轨迹管理。
• 引入一种距离感知运动模型，通过增加较大（更近）边界框的位置不确定性来反映更高的运动学不确定性。
• 使用基于直方图的假阳性率估计方法，动态建模杂波密度，以适应场景特定的杂波水平。
• 采用基于似然比的概率关联方法，将位置、尺寸和置信度融合为统一度量。
• 使用基于直方图的方法对检测器置信度分数进行校准，以提高关联决策的可靠性。
• 使用最大似然估计（MLE）从训练数据中自动学习模型参数，以确保鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 为何概率跟踪器在视觉多目标跟踪中表现不佳，尽管其具有理论优势？
• RQ2 如何使概率跟踪器适应视觉跟踪中的非均匀目标运动学和杂波分布？
• RQ3 检测器置信度在概率关联中起什么作用，如何有效建模？
• RQ4 是否可以设计一种极简的概率跟踪器，在不使用 Re-Id 或复杂架构的情况下实现 SOTA 性能？
• RQ5 哪些组件对概率跟踪器实现与即兴 SOTA 方法相当或更优的性能至关重要？

主要发现

• BASE 在 MOT17 和 MOT20 基准上实现了 SOTA 性能，优于领先的即兴方法（如 ByteTrack 和 BoT-SORT），且未使用 Re-Id。
• 消融实验表明，动态杂波建模对距离感知运动模型的性能提升至关重要，恒定杂波模型会降低结果。
• 使用朴素运动模型的概率关联性能低于 IOU 基准方法，但当结合距离感知模型后，其性能超越了 IOU 基准方法。
• 校准后的检测器置信度使性能相比原始置信度提升 0.8 MOTA 点，相比忽略置信度提升 3.8 MOTA 点，凸显其关键作用。
• 完整 BASE 配置在 MOT17 验证集上达到 81.6 MOTA 和 70.2 HOTA，优于 BoT-SORT（78.5 MOTA），并接近端到端模型（如 MOTRv2）。
• 该方法表明，当关键视觉跟踪特性——距离效应、杂波和置信度——被正确建模时，概率跟踪器可以既简洁又高性能。