[论文解读] MTR-A: 1st Place Solution for 2022 Waymo Open Dataset Challenge -- Motion Prediction

Shaoshuai Shi, Li Jiang+2 more|arXiv (Cornell University)|Sep 20, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本论文提出 MTR-A，即 2022 年 Waymo 开放数据集运动预测挑战赛的第一名解决方案，引入一种带有可学习运动查询对的运动 Transformer 框架——包括静态意图查询和动态搜索查询，以稳定训练并实现针对模式的迭代轨迹优化。该方法在官方排行榜上以显著优势实现了最先进性能，涵盖 Soft mAP、mAP 和漏检率指标。

ABSTRACT

In this report, we present the 1st place solution for motion prediction track in 2022 Waymo Open Dataset Challenges. We propose a novel Motion Transformer framework for multimodal motion prediction, which introduces a small set of novel motion query pairs for generating better multimodal future trajectories by jointly performing the intention localization and iterative motion refinement. A simple model ensemble strategy with non-maximum-suppression is adopted to further boost the final performance. Our approach achieves the 1st place on the motion prediction leaderboard of 2022 Waymo Open Dataset Challenges, outperforming other methods with remarkable margins. Code will be available at https://github.com/sshaoshuai/MTR.

研究动机与目标

• 为解决复杂城市环境中高不确定性与多样化智能体行为带来的多模态运动预测挑战。
• 通过引入少量可学习意图点的空间先验，稳定训练并提升预测质量。
• 通过将意图定位与迭代运动优化解耦，实现灵活的、模式特定的轨迹生成。
• 通过一种简单而有效的模型集成策略结合非极大值抑制，提升性能。
• 在 2022 年 Waymo 开放数据集运动预测挑战赛中实现最先进结果。

提出的方法

• 该框架采用基于堆叠 Transformer 层的编码器-解码器架构，使用场景上下文编码器来编码智能体轨迹和地图多段线。
• 提出一种新颖的运动查询对机制，包括静态意图查询（固定意图点的可学习嵌入）和动态搜索查询（用于轨迹优化的迭代更新）。
• 每个运动查询对与特定运动模式相关联，实现模式特定的预测并提升训练稳定性。
• 动态搜索查询在解码器各层聚合轨迹特定特征，逐步优化预测结果。
• 使用负对数似然损失进行训练，通过硬分配在每个时间步选择预测 GMM 中最匹配的高斯分量。
• 采用模型集成策略，通过基于轨迹长度动态缩放的距离阈值，结合 7 种变体的预测结果进行非极大值抑制。

实验结果

研究问题

• RQ1 少量可学习运动查询对是否能有效建模多模态未来轨迹，同时稳定训练？
• RQ2 将意图定位与迭代运动优化解耦，是否能提升预测准确率与收敛性？
• RQ3 简单的模型集成策略结合 NMS 在多模态运动预测中能多大程度上提升性能？
• RQ4 基于 Transformer 的架构结合空间先验是否能在大规模真实世界数据集上超越现有基于目标的方法与直接回归方法？
• RQ5 架构超参数（如查询对数量、隐藏维度）对复杂运动预测任务最终性能的影响如何？

主要发现

• MTR-A 在 2022 年 Waymo 开放数据集运动预测挑战赛官方排行榜中获得第一名，显著优于所有其他参赛方案。
• 该方法实现了 Soft mAP 0.845、mAP 0.789 和漏检率 0.078，展现出卓越的多模态轨迹预测性能。
• 结合 NMS 的模型集成策略相比单模型显著提升了性能，凸显了融合多样化预测的有效性。
• 基于 k-means 聚类意图点的 64 个运动查询对，实现了稳定且精确的模式特定轨迹生成。
• 在 NMS 中使用基于轨迹长度动态缩放的距离阈值，有效优先处理了各模型中的高置信度预测。
• 消融实验确认，与基线方法相比，运动查询对设计显著提升了训练稳定性和最终性能。