[论文解读] Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking

JunYoung Gwak, Silvio Savarese+1 more|arXiv (Cornell University)|Aug 22, 2022

Video Surveillance and Tracking Methods被引用 7

一句话总结

Minkowski Tracker 提出了一种稀疏时空 R-CNN，通过将 4D 点云（3D 空间 + 时间）输入 4D 稀疏卷积编码器，联合执行 3D 目标检测与多目标跟踪（MOT）。它使用 TrackAlign 聚合时空 ROI 特征，并预测检测到轨迹的匹配概率，以隐式学习运动模型，在无需人工设计运动模型的情况下，在 nuScenes 数据集上实现了最先进性能。

ABSTRACT

Recent research in multi-task learning reveals the benefit of solving related problems in a single neural network. 3D object detection and multi-object tracking (MOT) are two heavily intertwined problems predicting and associating an object instance location across time. However, most previous works in 3D MOT treat the detector as a preceding separated pipeline, disjointly taking the output of the detector as an input to the tracker. In this work, we present Minkowski Tracker, a sparse spatio-temporal R-CNN that jointly solves object detection and tracking. Inspired by region-based CNN (R-CNN), we propose to solve tracking as a second stage of the object detector R-CNN that predicts assignment probability to tracks. First, Minkowski Tracker takes 4D point clouds as input to generate a spatio-temporal Bird's-eye-view (BEV) feature map through a 4D sparse convolutional encoder network. Then, our proposed TrackAlign aggregates the track region-of-interest (ROI) features from the BEV features. Finally, Minkowski Tracker updates the track and its confidence score based on the detection-to-track match probability predicted from the ROI features. We show in large-scale experiments that the overall performance gain of our method is due to four factors: 1. The temporal reasoning of the 4D encoder improves the detection performance 2. The multi-task learning of object detection and MOT jointly enhances each other 3. The detection-to-track match score learns implicit motion model to enhance track assignment 4. The detection-to-track match score improves the quality of the track confidence score. As a result, Minkowski Tracker achieved the state-of-the-art performance on Nuscenes dataset tracking task without hand-designed motion models.

研究动机与目标

• 解决流水线式 3D MOT 系统将检测与跟踪视为独立阶段所带来的局限性。
• 通过在单一端到端框架中联合训练检测与跟踪，提升跟踪性能。
• 通过多任务学习隐式学习运动表征，消除对手动设计运动模型的依赖。
• 通过将检测到轨迹的匹配概率纳入置信度估计，提升轨迹置信度。
• 在 nuScenes 3D MOT 基准上实现最先进性能，提升召回率，减少漏检，降低 ID 切换次数。

提出的方法

• 该模型将 3D 点云序列作为 4D 时空输入进行处理，利用 Minkowski 空间实现时间推理。
• 4D 稀疏卷积编码器生成时空鸟瞰图（BEV）特征图，实现联合时空特征学习。
• 引入 TrackAlign 以聚合来自 BEV 图的感兴趣区域（ROI）特征，实现在特征层面的检测与轨迹匹配。
• 网络作为两阶段 R-CNN 框架的一部分，预测检测到轨迹的匹配概率，其中跟踪被视为第二阶段的检测任务。
• 检测到轨迹的匹配分数用于改进轨迹分配，并用于计算增强的轨迹置信度分数，取代对检测置信度的简单平均。
• 该方法使用可学习的成本矩阵，结合检测到轨迹的分数与距离比值，提升鲁棒性并减少 ID 切换。

实验结果

研究问题

• RQ1 与流水线方法相比，联合学习 3D 目标检测与多目标跟踪是否能提升性能？
• RQ2 4D 时空编码是否能增强检测对遮挡与截断的鲁棒性？
• RQ3 神经网络能否在不使用显式人工设计滤波器或卡尔曼滤波器的情况下，隐式学习运动模型？
• RQ4 将检测到轨迹的匹配概率纳入其中，对轨迹分配准确率与置信度估计有何影响？
• RQ5 当检测与跟踪任务联合优化时，多任务学习对性能的影响如何？

主要发现

• Minkowski Tracker 在 nuScenes 3D MOT 基准上实现了最先进性能，在 AMOTA、召回率与漏检率方面优于先前方法。
• 该模型在所有对比方法中实现了最高召回率与最低漏检率，表明得益于 4D 时间推理，检测鲁棒性得到提升。
• 检测到轨迹的匹配分数显著减少了 ID 切换与轨迹碎片化，证明了隐式运动建模的有效性。
• 检测置信度与检测到轨迹匹配分数的结合，提升了轨迹置信度，使 AMOTA 相较基线置信度估计提升了 2.4 个百分点的绝对值。
• Minkowski Tracker 的推理速度比 ImmortalTracker 快 6 倍，同时性能更优，原因在于避免了计算量大的人工设计滤波器，转而依赖高效的线性分配。
• 消融实验确认，4D 编码器、多任务学习、检测到轨迹匹配分数以及置信度分数整合，各自独立地对性能提升有贡献。