[论文解读] GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning

Xinshuo Weng, Yongxin Wang+2 more|arXiv (Cornell University)|Jun 12, 2020

Video Surveillance and Tracking Methods参考文献 25被引用 15

一句话总结

该论文提出 GNN3DMOT，一种3D多目标跟踪方法，通过集成图神经网络（GNNs）实现对象间特征交互，并结合联合2D-3D特征提取器与集成训练策略，融合跨模态的外观与运动特征，以增强判别性特征学习。该方法通过基于GNN的特征优化与多模态融合，显著提升特征判别能力，在KITTI和nuScenes 3D MOT基准上实现了最先进性能。

ABSTRACT

3D Multi-object tracking (MOT) is crucial to autonomous systems. Recent work uses a standard tracking-by-detection pipeline, where feature extraction is first performed independently for each object in order to compute an affinity matrix. Then the affinity matrix is passed to the Hungarian algorithm for data association. A key process of this standard pipeline is to learn discriminative features for different objects in order to reduce confusion during data association. In this work, we propose two techniques to improve the discriminative feature learning for MOT: (1) instead of obtaining features for each object independently, we propose a novel feature interaction mechanism by introducing the Graph Neural Network. As a result, the feature of one object is informed of the features of other objects so that the object feature can lean towards the object with similar feature (i.e., object probably with a same ID) and deviate from objects with dissimilar features (i.e., object probably with different IDs), leading to a more discriminative feature for each object; (2) instead of obtaining the feature from either 2D or 3D space in prior work, we propose a novel joint feature extractor to learn appearance and motion features from 2D and 3D space simultaneously. As features from different modalities often have complementary information, the joint feature can be more discriminate than feature from each individual modality. To ensure that the joint feature extractor does not heavily rely on one modality, we also propose an ensemble training paradigm. Through extensive evaluation, our proposed method achieves state-of-the-art performance on KITTI and nuScenes 3D MOT benchmarks. Our code will be made available at https://github.com/xinshuoweng/GNN3DMOT

研究动机与目标

• 为解决3D多目标跟踪中因独立提取每个对象特征而导致的判别性特征学习不充分问题。
• 通过使用图神经网络（GNNs）实现对象间特征交互，提升检测-跟踪流水线中的数据关联性能。
• 通过在2D与3D空间中联合学习外观与运动特征，充分利用两种模态的互补信息。
• 通过集成训练范式随机丢弃特征提取分支，防止模型过度依赖单一模态。

提出的方法

• 提出一种基于GNN的特征交互机制，通过聚合图中邻近对象的特征来更新每个对象的特征，利用对象间上下文增强特征判别性。
• 设计一个四分支联合特征提取器，同步学习2D外观、2D运动、3D外观与3D运动特征，并在GNN处理前进行特征融合。
• 采用多层GNN架构，结合使用两层MLP的可学习边回归模块，计算消息传递中的注意力权重。
• 应用受Dropout启发的集成训练范式，在训练过程中随机禁用特征提取分支分支，以确保模型鲁棒性与模态利用的均衡性。
• 提出一种新型节点聚合规则（类型4），在多目标跟踪场景下优于标准GNN层（如GCN、GraphSAGE与GAT）。
• 采用匈牙利算法进行数据关联，基于GNN处理后的特征优化亲和矩阵，实现端到端的网络训练。

实验结果

研究问题

• RQ1 图神经网络能否通过实现对象间特征交互，提升3D多目标跟踪中的判别性特征学习？
• RQ2 联合学习2D与3D的外观与运动特征是否能带来优于单一模态的性能提升？
• RQ3 随机丢弃特征提取分支的集成训练策略如何影响多模态3D多目标跟踪中模型的鲁棒性与性能？
• RQ4 在3D多目标跟踪中，为最大化跟踪精度，最优的GNN层数与聚合策略是什么？
• RQ5 不同边回归模块（如余弦相似度与MLP）对最终跟踪性能有何影响？

主要发现

• 所提出的GNN3DMOT方法在KITTI 3D MOT基准上达到最先进性能，sAMOTA得分为93.68%，显著优于现有方法。
• 采用拼接融合的联合2D+3D特征提取器实现93.68%的sAMOTA，证明多模态特征高度互补，能有效提升跟踪精度。
• 使用两层MLP作为边回归模块优于传统度量方法（如余弦相似度与L2距离），sAMOTA达到93.68%。
• 最优GNN层数为三层，超过此数量会导致过拟合与性能下降。
• 集成训练范式中丢弃率设为0.5时性能最佳，验证了其在防止模态主导与提升泛化能力方面的有效性。
• 所提出的节点聚合规则（类型4）在KITTI-Car验证集上实现84.70%的最高MOTA，优于GCN、GAT等标准GNN变体。