[论文解读] LEGO: Learning and Graph-Optimized Modular Tracker for Online Multi-Object Tracking with Point Clouds

Zhenrong Zhang, Jianan Liu+4 more|arXiv (Cornell University)|Aug 19, 2023

Video Surveillance and Tracking MethodsComputer Science被引用 3

一句话总结

LEGO 是一种新颖的在线多目标跟踪框架，专为 LiDAR 点云设计，通过融合图优化与自注意力机制，提升数据关联的准确性。通过可学习代价矩阵与图驱动注意力网络（GDAN）融合几何、运动和检测分数特征，LEGO 在仅使用 LiDAR 输入的情况下，实现了 SOTA 性能，在 KITTI MOT 基准中在线跟踪器排名首位。

ABSTRACT

Online multi-object tracking (MOT) plays a pivotal role in autonomous systems. The state-of-the-art approaches usually employ a tracking-by-detection method, and data association plays a critical role. This paper proposes a learning and graph-optimized (LEGO) modular tracker to improve data association performance in the existing literature. The proposed LEGO tracker integrates graph optimization and self-attention mechanisms, which efficiently formulate the association score map, facilitating the accurate and efficient matching of objects across time frames. To further enhance the state update process, the Kalman filter is added to ensure consistent tracking by incorporating temporal coherence in the object states. Our proposed method utilizing LiDAR alone has shown exceptional performance compared to other online tracking approaches, including LiDAR-based and LiDAR-camera fusion-based methods. LEGO ranked 1st at the time of submitting results to KITTI object tracking evaluation ranking board and remains 2nd at the time of submitting this paper, among all online trackers in the KITTI MOT benchmark for cars1

研究动机与目标

• 解决使用 LiDAR 点云进行在线多目标跟踪时面临的数据关联、误检剔除与跟踪连续性挑战。
• 通过统一的优化框架整合几何、运动与检测分数特征，提升跟踪的鲁棒性与准确性。
• 开发一种模块化跟踪器，利用基于图的注意力机制与卡尔曼滤波器提升数据关联性能，确保时间一致性。
• 在仅使用 LiDAR 输入、不融合相机数据的前提下，实现在 KITTI 在线 MOT 基准中的 SOTA 性能。

提出的方法

• LEGO 采用两阶段流程：先进行目标检测，再通过带图优化数据关联的模块化跟踪器执行跟踪。
• 构建一个代价矩阵，结合几何与运动特征（矩阵 A）以及检测分数特征（矩阵 B），并引入可学习权重以平衡二者贡献。
• 采用图驱动注意力网络（GDAN）通过建模跨帧检测之间的拓扑关系，计算关联得分。
• 跟踪器集成卡尔曼滤波器，以维持时间连贯性并提升帧间物体状态估计的精度。
• 应用偏移校正模块以优化检测边界框，降低定位误差。
• 通过基于阈值的剪枝机制（N^t）进行轨迹管理，以控制轨迹生命周期并减少误报。

实验结果

研究问题

• RQ1 如何有效结合图优化与注意力机制，以提升在线 3D 多目标跟踪中的数据关联性能？
• RQ2 在关联代价矩阵中，几何、运动与检测分数特征的最优平衡关系是什么？
• RQ3 与多模态（LiDAR-相机）跟踪器相比，仅使用 LiDAR 的跟踪器能否实现 SOTA 性能？
• RQ4 卡尔曼滤波器与轨迹管理机制的集成如何提升跟踪的连续性与鲁棒性？

主要发现

• 在 KITTI 汽车验证集上，LEGO 达到 85.808% 的 HOTA，提交时在所有在线跟踪器中排名第一。
• 当使用 PointRCNN 作为检测器时，LEGO 相较于 StrongFusionMOT，HOTA 提升 2.4，MOTA 提升 3.44。
• 当使用 PointGNN 作为检测器时，LEGO 相较于 HIDMOT 提升 HOTA 3.62，相较 DualTracker 提升 5.34。
• 尽管检测器（PointGNN）的精度低于 CenterPoint，LEGO 仍以 1.22 的 sAMOTA、2.51 的 AMOTA 和 8.87 的 AMOTP 超过 GNN3DMOT。
• 消融实验表明，当设置权重 w_B = 2 且轨迹阈值 N^t = 14 时，HOTA 表现最佳（85.808%）。
• 偏移校正模块显著提升了定位精度，增强了整体跟踪的鲁棒性。