[论文解读] Motion Transformer with Global Intention Localization and Local Movement Refinement

Shaoshuai Shi, Li Jiang+2 more|arXiv (Cornell University)|Sep 27, 2022

Autonomous Vehicle Technology and Safety被引用 74

一句话总结

本文提出 Motion TRansformer (MTR)，一种基于 transformer 的多模态运动预测框架，使用少量可学习的运动查询对来定位全局意图并细化局部运动，在 Waymo Open Motion Dataset 上未使用密集目标候选时也达到最先进的结果。

ABSTRACT

Predicting multimodal future behavior of traffic participants is essential for robotic vehicles to make safe decisions. Existing works explore to directly predict future trajectories based on latent features or utilize dense goal candidates to identify agent's destinations, where the former strategy converges slowly since all motion modes are derived from the same feature while the latter strategy has efficiency issue since its performance highly relies on the density of goal candidates. In this paper, we propose Motion TRansformer (MTR) framework that models motion prediction as the joint optimization of global intention localization and local movement refinement. Instead of using goal candidates, MTR incorporates spatial intention priors by adopting a small set of learnable motion query pairs. Each motion query pair takes charge of trajectory prediction and refinement for a specific motion mode, which stabilizes the training process and facilitates better multimodal predictions. Experiments show that MTR achieves state-of-the-art performance on both the marginal and joint motion prediction challenges, ranking 1st on the leaderboards of Waymo Open Motion Dataset. The source code is available at https://github.com/sshaoshuai/MTR.

研究动机与目标

• 通过避免密集目标候选和收敛较慢来推动自动驾驶中的鲁棒多模态运动预测。
• 提出一个统一框架，通过运动查询对将全局意图定位与局部运动细化结合起来。
• 加入一个辅助的密集未来预测任务，以丰富未来交互上下文。
• 在 WOMD 的边际与联合运动预测基准上展示最先进的性能。

提出的方法

• 引入由静态意图查询组成的全局定位和用于局部细化的动态搜索查询的运动查询对。
• 使用带局部自注意力的 Transformer 编码器从代理历史和道路地图中编码场景上下文。
• 采用密集未来预测的辅助任务，为所有代理预测未来轨迹和速度，作为额外上下文。
• 实现一个动态地图收集模块，为每种运动模式收集与轨迹对齐的地图特征。
• 应用高斯混合模型头来表示多模态未来分布，并在训练时使用硬分配。
• 端到端训练，跨解码层使用辅助的 L1 损失和负对数似然损失。

实验结果

研究问题

• RQ1 一小组可学习的运动查询对是否能够在没有密集目标候选的情况下有效覆盖多模态未来运动？
• RQ2 全局意图定位加局部运动细化是否能提升预测的稳定性和准确性？
• RQ3 引入密集未来预测任务是否能提升场景一致的轨迹生成？
• RQ4 在大规模地图上下文中，编码器的局部自注意力如何影响上下文建模与内存效率？

主要发现

• MTR 在 WOMD 的边际运动预测上达到最先进的性能，并在 mAP 上相对于无集成基线取得显著提升。
• MTR 也在联合运动预测基准上超越了此前方法，取得更高的 mAP 和更低的漏检率。
• 带有意图点的静态意图查询相比潜在可学习嵌入提供了显著的 mAP 提升，突显了模式特定查询的优势。
• 密集未来预测模块通过捕捉未来轨迹之间的相互作用显著提升轨迹质量。
• 在使用大地图上下文时，局部自注意力比全局注意力提供更好的性能和内存效率。
• 集成变体和端到端 MTR-e2e 显示出强大的性能，其中 MTR-Advanced-ens 在测试集上实现了最高排名。