[论文解读] MTR++: Multi-Agent Motion Prediction with Symmetric Scene Modeling and Guided Intention Querying

Shaoshuai Shi, Li Jiang+2 more|arXiv (Cornell University)|Jun 30, 2023

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出MTR++——一种先进的多智能体运动预测框架，通过对称场景建模与引导式意图查询，提升多模态轨迹预测性能。通过采用可学习的意图查询实现全局意图定位，并利用堆叠的Transformer解码器层进行迭代优化，MTR++在WOMD基准上实现了最先进性能，相较于其前身MTR，在预测精度、推理速度和内存效率方面均有提升。

ABSTRACT

Motion prediction is crucial for autonomous driving systems to understand complex driving scenarios and make informed decisions. However, this task is challenging due to the diverse behaviors of traffic participants and complex environmental contexts. In this paper, we propose Motion TRansformer (MTR) frameworks to address these challenges. The initial MTR framework utilizes a transformer encoder-decoder structure with learnable intention queries, enabling efficient and accurate prediction of future trajectories. By customizing intention queries for distinct motion modalities, MTR improves multimodal motion prediction while reducing reliance on dense goal candidates. The framework comprises two essential processes: global intention localization, identifying the agent's intent to enhance overall efficiency, and local movement refinement, adaptively refining predicted trajectories for improved accuracy. Moreover, we introduce an advanced MTR++ framework, extending the capability of MTR to simultaneously predict multimodal motion for multiple agents. MTR++ incorporates symmetric context modeling and mutually-guided intention querying modules to facilitate future behavior interaction among multiple agents, resulting in scene-compliant future trajectories. Extensive experimental results demonstrate that the MTR framework achieves state-of-the-art performance on the highly-competitive motion prediction benchmarks, while the MTR++ framework surpasses its precursor, exhibiting enhanced performance and efficiency in predicting accurate multimodal future trajectories for multiple agents.

研究动机与目标

• 解决复杂驾驶场景中多样化智能体行为与丰富环境上下文下的多模态运动预测挑战。
• 减少轨迹预测中对密集目标候选的依赖，以降低计算成本并缓解训练不稳定性。
• 实现多个智能体的联合、场景一致的多模态轨迹预测。
• 通过具有语义意义的显式可学习意图查询，提升训练稳定性和预测精度。
• 在多智能体运动预测场景中提升推理效率与内存使用效率。

提出的方法

• MTR++框架采用Transformer编码器-解码器架构，结合可学习的意图查询，显式表示不同的运动模式，从而减少对密集目标候选的依赖。
• 通过这些意图查询的概率对智能体意图进行分类，实现全局意图定位，支持高效轨迹预测。
• 通过堆叠的Transformer解码器层实现局部运动优化，基于上下文和智能体间相互作用，迭代优化预测轨迹。
• 对称场景上下文建模确保每个智能体的场景表征对智能体顺序不变，提升泛化能力与交互建模效果。
• 相互引导的意图查询实现跨智能体注意力，使智能体能够基于其他智能体的预测行为优化自身轨迹。
• 密集未来预测模块为上下文编码器提供密集监督，并通过将潜在未来轨迹融入特征学习过程，丰富运动解码。

实验结果

研究问题

• RQ1 如何在减少对密集目标候选依赖的同时，提升多智能体的多模态运动预测性能？
• RQ2 与隐式潜在嵌入相比，显式可学习意图查询对训练稳定性和预测性能的影响如何？
• RQ3 对称场景上下文建模如何提升多智能体运动预测的泛化能力与预测精度？
• RQ4 相互引导的意图查询在通过智能体间交互建模提升场景一致轨迹生成方面，效果如何？
• RQ5 在联合运动预测中，为平衡性能与推理效率，解码器层的最优数量是多少？

主要发现

• MTR++在大规模WOMD基准上实现最先进性能，其minADE、miss rate和mAP指标均优于MTR及先前方法。
• 移除密集未来预测模块后，mAP下降1.48%，表明其在提供密集监督与丰富上下文特征方面具有关键作用。
• 将解码器层数从1层增至6层，性能持续提升，6层时达到最佳；增至9层后无进一步增益，表明收益递减。
• 显式意图查询相比隐式潜在嵌入，能实现更快收敛与更优训练稳定性，尤其在查询数量增加时优势更明显。
• 与MTR相比，MTR++在推理速度与内存效率方面表现更优，尤其在预测更多智能体轨迹时优势显著。
• MTR++的mAP达到0.3754，minADE为0.6490，miss rate为0.1559，相比先前方法有显著提升。