[论文解读] Track Initialization and Re-Identification for~3D Multi-View Multi-Object Tracking

Linh Van, Tran Thien Dat Nguyen+3 more|arXiv (Cornell University)|May 28, 2024

Video Surveillance and Tracking Methods被引用 5

一句话总结

这篇论文提出一个3D多视角MOT框架，使用贝叶斯多对象跟踪（MOT）方法来初始化轨迹并重新识别对象，将来自多摄像机的3D对象状态与2D检测整合，并学习紧凑的潜在表示。

ABSTRACT

We propose a 3D multi-object tracking (MOT) solution using only 2D detections from monocular cameras, which automatically initiates/terminates tracks as well as resolves track appearance-reappearance and occlusions. Moreover, this approach does not require detector retraining when cameras are reconfigured but only the camera matrices of reconfigured cameras need to be updated. Our approach is based on a Bayesian multi-object formulation that integrates track initiation/termination, re-identification, occlusion handling, and data association into a single Bayes filtering recursion. However, the exact filter that utilizes all these functionalities is numerically intractable due to the exponentially growing number of terms in the (multi-object) filtering density, while existing approximations trade-off some of these functionalities for speed. To this end, we develop a more efficient approximation suitable for online MOT by incorporating object features and kinematics into the measurement model, which improves data association and subsequently reduces the number of terms. Specifically, we exploit the 2D detections and extracted features from multiple cameras to provide a better approximation of the multi-object filtering density to realize the track initiation/termination and re-identification functionalities. Further, incorporating a tractable geometric occlusion model based on 2D projections of 3D objects on the camera planes realizes the occlusion handling functionality of the filter. Evaluation of the proposed solution on challenging datasets demonstrates significant improvements and robustness when camera configurations change on-the-fly, compared to existing multi-view MOT solutions. The source code is publicly available at https://github.com/linh-gist/mv-glmb-ab.

研究动机与目标

• 推动来自多路同步摄像头的鲁棒3D MOT，以用于自动系统和体育分析。
• 提出一种轨迹初始化与重新识别框架，将2D检测与3D对象状态融合成一个统一的贝叶斯MOT模型。
• 开发一种高效的 M♡OT (MHypert MOC) 滤波器，处理2D检测、多摄像头特征，以及联合运动/外观建模。
• 利用来自多个摄像头的2D检测和提取的特征来提升跨视图的轨迹初始化、终止和重新识别。

提出的方法

• 采用集成轨迹-先前与轨迹-before-detection组件的贝叶斯MOT公式。
• 使用3D多对象跟踪滤波器(M♡OT)，将来自多个传感器的2D检测融合成3D状态估计。
• 采用线性高斯模型来描述状态转移和观测，以实现高效的卡尔曼式更新。
• 引入多观测状态表示，包括3D位置、速度和形状参数，以及基于摄像机锚定的外观特征。
• 通过学习的特征（如类似SIFT、HOG和神经特征）以及概率数据关联步骤，嵌入强健的外观模型。
• 扩展贝叶斯滤波器以通过分组GLMB/MO-GLMB框架和 track-fore-before-detection 范式实现在线的多摄像机数据关联。
• 提供近似策略（例如 MÈR-GLMB）以使在线推断在在线/离线数据上保持计算可承受。

Σχ \acctonos ηµα 0: Σςηεματις οφ τηε προποςεδ 3Δ Μ῞-ΜΟΤ ςολυτιον. Μυλτι-ιεω δετεςτιονς (βουνδινγ βοξες ανδ ιςυαλ φεατυρες φρομ αλλ ςαμερας) ις ςυππλιεδ το τηε Μ῞-ΜΟΤ φιλτερ, ωηιςη ιντεγρατες μυλτι-οβϑεςτ δψναμις ανδ μεαςυρεμεντ μοδελς το ρεαλιζε αλλ ΜΟΤ φυνςτιοναλιτιες.

实验结果

研究问题

• RQ1 如何在保持准确终止和重新识别的同时，从多视角的2D检测中有效初始化3D MOT？
• RQ2 在多摄像机之间融合2D检测、3D状态和外观特征以实现稳健跟踪的高效概率框架是什么？
• RQ3 如何在在线多摄像机设置中联合解决轨迹初始化、终止和重新识别？
• RQ4 哪些近似方法能在不显著损失精度的情况下实现3D多视角MOT的实时性能？
• RQ5 学习到的外观特征和几何感知运动模型如何影响跨视图的重新识别和轨迹恢复？

主要发现

• 提出了一种贝叶斯3D MOT框架，能够在多摄像机间共同处理轨迹初始化、终止和重新识别。
• 设计了一种多对象跟踪滤波器（MOT），将2D多摄像机检测整合到3D状态估计中，且具有线性高斯动态以提高效率。
• 该方法使用潜在变量表示来耦合运动、外观和几何，实现跨视图的鲁棒数据关联和重新识别。
• 开发了一种可处理的近似（如 M῞-GLMB），可扩展到在线多摄像机MOT，在降低复杂度的同时保持竞争力的精度。
• 实验证明，相比基线方法，在初始化和重新识别阶段利用2D检测和跨视图外观特征可以提升跟踪性能。

Σχ \acctonos ηµα 0: Σςηεματις οφ τηε προποςεδ μυλτι-ιεω ΜΟΤ φιλτερ, ωιτη Αδαπτιε Βιρτη Μοδελ ανδ Οςςλυςιον Μοδελ τηατ ρεαλιζε ΜΟΤ φυνςτιοναλιτιες.