[论文解读] Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling

Xinshuo Weng, Ye Yuan+1 more|arXiv (Cornell University)|Mar 17, 2020

Video Surveillance and Tracking Methods参考文献 62被引用 28

一句话总结

该论文提出了一种统一的3D多目标跟踪（MOT）与轨迹预测框架，利用图神经网络（GNNs）建模智能体交互，并引入多样性采样函数以生成多样化、非冗余的预测结果。该方法通过共享的、具备交互感知能力的表征联合优化跟踪与预测任务，在KITTI和nuScenes数据集上实现了最先进性能。

ABSTRACT

3D multi-object tracking (MOT) and trajectory forecasting are two critical components in modern 3D perception systems that require accurate modeling of multi-agent interaction. We hypothesize that it is beneficial to unify both tasks under one framework in order to learn a shared feature representation of agent interaction. To evaluate this hypothesis, we propose a unified solution for 3D MOT and trajectory forecasting which also incorporates two additional novel computational units. First, we propose a feature interaction technique by introducing Graph Neural Networks (GNNs) to capture the way in which multiple agents interact with one another. The GNN is able to model complex hierarchical interactions, improve the discriminative feature learning for MOT association, and provide socially-aware context for trajectory forecasting. Second, we use a diversity sampling function to improve the quality and diversity of our forecasted trajectories. The learned sampling function is trained to efficiently extract a variety of outcomes from a generative trajectory distribution and helps avoid the problem of generating many duplicate trajectory samples. We evaluate on the KITTI and nuScenes datasets, showing that our unified method with feature interaction and diversity sampling achieves new state-of-the-art performance on both 3D MOT and trajectory forecasting. Our code will be made available at this https URL.

研究动机与目标

• 将3D多目标跟踪（MOT）与轨迹预测统一于单一框架中，以实现共享的、具备交互感知能力的特征学习。
• 通过图神经网络（GNNs）建模智能体之间的复杂、分层交互关系，提升跟踪精度。
• 通过学习一个采样函数，从生成式轨迹分布中提取多样化结果，从而提升预测的多样性与质量。
• 解决预测模型中常见的轨迹样本重复或多样性不足的问题。

提出的方法

• 采用图神经网络（GNN）建模多智能体交互，捕捉分层关系，提升MOT关联任务中的特征可区分性。
• GNN编码上下文感知的、具有社会意识的表征，同时支持跟踪与未来轨迹预测任务。
• 引入多样性采样函数，用于在生成式轨迹分布上进行训练，选择多样化且高质量的预测样本。
• 该采样函数具有可微性，并与跟踪和预测目标端到端联合优化，以提升预测多样性。
• 统一架构联合优化MOT与预测任务，共享两个任务之间的特征表示，从而提升整体性能。
• 模型在KITTI和nuScenes数据集上进行训练与评估，采用3D MOT与轨迹预测的标准基准。

实验结果

研究问题

• RQ1 统一框架能否联合优化3D多目标跟踪与轨迹预测，从而提升两个任务的性能？
• RQ2 图神经网络在建模复杂、分层的智能体交互关系方面，能否有效提升跟踪与预测性能？
• RQ3 可学习的多样性采样函数能否有效减少轨迹样本的冗余性并提升预测质量？
• RQ4 跟踪与预测任务之间的共享特征学习是否能带来更好的泛化能力与性能表现？

主要发现

• 所提出的统一框架在3D MOT与轨迹预测基准上均实现了最先进性能。
• GNN的集成显著提升了跟踪精度，通过建模更丰富的、具备交互感知能力的表征。
• 多样性采样函数成功减少了重复的轨迹样本，显著增强了预测的多样性。
• 联合优化跟踪与预测任务相比独立训练方法，性能表现更优。
• 该方法在KITTI与nuScenes数据集上均展现出强大的泛化能力，验证了共享表征学习的有效性。
• 代码将公开发布，以支持可复现性与后续研究。