[论文解读] FlowMOT: 3D Multi-Object Tracking by Scene Flow Association

Guangyao Zhai, Xin Kong+3 more|arXiv (Cornell University)|Dec 14, 2020

Video Surveillance and Tracking Methods参考文献 29被引用 10

一句话总结

FlowMOT 提出了一种基于激光雷达的 3D 多目标跟踪框架，利用基于学习的场景光流估计来预测目标运动并提升跟踪鲁棒性。通过用光流导出的运动预测替代传统的卡尔曼滤波器，并使用匈牙利算法进行数据关联，FlowMOT 在 KITTI MOT 上实现了最先进性能，尤其在高速和变帧率场景中表现优异，此时基于滤波的方法因固定超参数而失效。

ABSTRACT

Most end-to-end Multi-Object Tracking (MOT) methods face the problems of low accuracy and poor generalization ability. Although traditional filter-based methods can achieve better results, they are difficult to be endowed with optimal hyperparameters and often fail in varying scenarios. To alleviate these drawbacks, we propose a LiDAR-based 3D MOT framework named FlowMOT, which integrates point-wise motion information with the traditional matching algorithm, enhancing the robustness of the motion prediction. We firstly utilize a scene flow estimation network to obtain implicit motion information between two adjacent frames and calculate the predicted detection for each old tracklet in the previous frame. Then we use Hungarian algorithm to generate optimal matching relations with the ID propagation strategy to finish the tracking task. Experiments on KITTI MOT dataset show that our approach outperforms recent end-to-end methods and achieves competitive performance with the state-of-the-art filter-based method. In addition, ours can work steadily in the various-speed scenarios where the filter-based methods may fail.

研究动机与目标

• 为解决端到端 3D MOT 方法的局限性，这些方法存在精度低和泛化能力差的问题。
• 克服传统基于滤波的 3D MOT 中对超参数敏感和固定运动模型的问题，尤其是在目标速度变化时。
• 在真实场景中提升跟踪鲁棒性，这些场景存在变帧率或帧丢失，而标准卡尔曼滤波器方法会失效。
• 探索将基于深度学习的场景光流估计集成到 3D MOT 流程中，以实现更准确和自适应的运动预测。
• 开发一种可在不同目标类别（如汽车与行人）间泛化的框架，而无需针对特定类别调整超参数。

提出的方法

• 使用场景光流估计网络（FlowNet3D）计算连续激光雷达帧之间的逐点运动，捕捉隐式的运动一致性。
• 从每个检测点云内聚合的场景光流向量中提取目标级别的运动预测，实现在不依赖手工设计运动模型的情况下进行轨迹预测。
• 应用匈牙利算法基于 IoU 和运动一致性，将前一帧的旧轨迹与当前帧的新检测进行匹配。
• 采用 ID 传播策略以在帧之间保持轨迹身份，利用场景光流预测的运动信息提升数据关联性能。
• 该框架采用检测后跟踪范式，结合基于深度学习的运动估计与经典匹配算法，实现鲁棒跟踪。
• 系统在 KITTI MOT 上端到端训练，其中场景光流预测仅用于运动建模，不用于检测或重识别。

实验结果

研究问题

• RQ1 与仅基于学习的端到端方法相比，基于学习的场景光流估计能否提升 3D MOT 性能？
• RQ2 用基于光流的预测替代卡尔曼滤波器运动模型，是否能增强在变速度或低帧率场景下的鲁棒性？
• RQ3 一个统一的运动模型能否在不进行类别特定超参数调优的情况下，泛化于多样化的目标类别（如汽车与行人）？
• RQ4 场景光流的集成如何提升复杂跟踪场景下的数据关联准确性？
• RQ5 基于场景光流的运动预测在多大程度上减少了 3D MOT 中对人工超参数调优的依赖？

主要发现

• 在 KITTI MOT 验证集上，FlowMOT 显著优于 mmMOT（ICCV '19）和 FANTrack（IV '19），尤其在 sAMOTA 指标上表现突出。
• 在汽车类别上，FlowMOT 与 AB3DMOT（IROS '20）性能相当，且在更严格的 IoU 阈值下表现更优，归因于基于原始检测的 ID 传播更准确。
• 在行人类别上，FlowMOT 超过 AB3DMOT，因为后者的固定运动模型难以应对行人动态，而 FlowMOT 通过学习到的光流自然适应。
• 在高速或低帧率场景（通过 5Hz 采样模拟）中，FlowMOT 保持稳定性能，而 AB3DMOT 因固定协方差矩阵调优而出现显著性能下降。
• 该框架在不同目标类别间展现出优越的泛化能力，因为它无需为不同目标类型重新调优超参数，而基于滤波的方法则需要。
• 定性结果表明，FlowMOT 能够成功跟踪经历帧丢失和高速运动的对象，而 AB3DMOT 因刚性运动假设而失效。