[论文解读] 3D Multi-Object Tracking: A Baseline and New Evaluation Metrics

Xinshuo Weng, Jianren Wang+2 more|arXiv (Cornell University)|Jul 9, 2019

Video Surveillance and Tracking Methods参考文献 58被引用 38

一句话总结

提出一个简单的实时3D MOT系统，使用3D卡尔曼滤波器与Hungarian数据关联，介绍一个3D MOT评估工具和三个积分指标（AMOTA、AMOTP、AMOTA）包括 sAMOTA，并在KITTI和nuScenes上报告最先进的结果，具高FPS。

ABSTRACT

3D multi-object tracking (MOT) is an essential component for many applications such as autonomous driving and assistive robotics. Recent work on 3D MOT focuses on developing accurate systems giving less attention to practical considerations such as computational cost and system complexity. In contrast, this work proposes a simple real-time 3D MOT system. Our system first obtains 3D detections from a LiDAR point cloud. Then, a straightforward combination of a 3D Kalman filter and the Hungarian algorithm is used for state estimation and data association. Additionally, 3D MOT datasets such as KITTI evaluate MOT methods in the 2D space and standardized 3D MOT evaluation tools are missing for a fair comparison of 3D MOT methods. Therefore, we propose a new 3D MOT evaluation tool along with three new metrics to comprehensively evaluate 3D MOT methods. We show that, although our system employs a combination of classical MOT modules, we achieve state-of-the-art 3D MOT performance on two 3D MOT benchmarks (KITTI and nuScenes). Surprisingly, although our system does not use any 2D data as inputs, we achieve competitive performance on the KITTI 2D MOT leaderboard. Our proposed system runs at a rate of $207.4$ FPS on the KITTI dataset, achieving the fastest speed among all modern MOT systems. To encourage standardized 3D MOT evaluation, our system and evaluation code are made publicly available at https://github.com/xinshuoweng/AB3DMOT.

研究动机与目标

• 提供一个基于经典MOT模块（3D卡尔曼滤波和匈牙利匹配）的简单、实时3D MOT基线。
• 引入一个标准化的3D MOT评估工具和三个积分指标，以在多个工作点上进行评估。
• 证明所提出的基线在KITTI和nuScenes 3D MOT基准上达到最先进的结果。
• 证明该系统在高速度运行的同时，对外观特征或训练的依赖较小。

提出的方法

• 从LiDAR点云中使用现成的检测器提取3D检测。
• 将卡尔曼滤波状态扩展为3D：(x, y, z, θ, l, w, h, s, vx, vy, vz)。
• 使用3D恒定速度模型预测轨迹。
• 使用3D IoU或中心距离亲和度，通过匈牙利算法对检测与预测进行关联。
• 用贝叶斯更新更新匹配的状态，包括在需要时的朝向矫正。
• 通过birth/death内存管理轨迹的出生与消亡，在新轨迹创建前设定延迟，并对轨迹设置最大年龄。

实验结果

研究问题

• RQ1 一个基于3D卡尔曼滤波和匈牙利匹配的简单3D MOT管线能否在标准3D基准上实现强 MOT 性能？
• RQ2 应如何评估3D MOT以公平比较直接在3D空间中工作的系统？
• RQ3 跨多个置信阈值的积分指标（AMOTA、AMOTP、sAMOTA）是否比单一阈值指标为3D MOT方法的比较提供更稳健的依据？
• RQ4 基于3D的MOT方法在准确性和速度方面是否相对于面向2D的方法具有优势？

主要发现

• 所提出的3D MOT基线在KITTI和nuScenes的3D MOT基准上达到最先进的性能。
• 系统在KITTI上以207.4 FPS运行，是当前现代MOT系统中最快的。
• 提出三种新指标（AMOTA、AMOTP、AMOTA）以及两个缩放变体（sAMOTA、AMOTA），用于在所有阈值下总结性能。
• 新的3D MOT评估工具直接在3D空间使用3D IoU或中心距离指标进行评估，避免将评估投影到图像平面。
• 即使没有2D输入，基于3D的方法在KITTI的2D MOT榜单上也取得了具有竞争力的结果，可能是因为在3D跟踪中的深度分辨率更好。
• 消融研究显示诸如角速度引入和朝向处理等组件对性能的重要性。