[论文解读] M2I: From Factored Marginal Trajectory Prediction to Interactive Prediction

Qiao Sun, Xin Huang+3 more|arXiv (Cornell University)|Feb 24, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

M2I 提出了一种新颖的框架，通过识别影响者-反应者配对，将多智能体轨迹预测分解为边缘预测和条件预测，实现了符合场景的交互式运动预测。该方法在 Waymo Open Motion Dataset 上实现了最先进性能，在 minFDE 和 mAP 等关键指标上优于边缘和联合基线方法，通过因子化建模智能体交互关系实现。

ABSTRACT

Predicting future motions of road participants is an important task for driving autonomously in urban scenes. Existing models excel at predicting marginal trajectories for single agents, yet it remains an open question to jointly predict scene compliant trajectories over multiple agents. The challenge is due to exponentially increasing prediction space as a function of the number of agents. In this work, we exploit the underlying relations between interacting agents and decouple the joint prediction problem into marginal prediction problems. Our proposed approach M2I first classifies interacting agents as pairs of influencers and reactors, and then leverages a marginal prediction model and a conditional prediction model to predict trajectories for the influencers and reactors, respectively. The predictions from interacting agents are combined and selected according to their joint likelihoods. Experiments show that our simple but effective approach achieves state-of-the-art performance on the Waymo Open Motion Dataset interactive prediction benchmark.

研究动机与目标

• 为解决生成符合场景的多智能体轨迹预测的挑战，避免碰撞并反映真实交互。
• 通过将联合分布分解为边缘和条件分量，克服多智能体间联合预测的指数级复杂度。
• 通过识别类似因果的智能体角色（影响者和反应者），实现在无需端到端联合建模的情况下实现准确的交互预测。
• 通过设计解耦上下文编码和轨迹头的模块化框架，实现在不同主干预测模型上的泛化能力。
• 通过基于条件轨迹建模的交互感知推理，提升预测准确性和场景符合性。

提出的方法

• M2I 使用基于启发式的关联分类器，将相互作用的智能体对分类为影响者（独立行为）和反应者（响应行为）。
• 它采用边缘轨迹预测器，为影响者智能体生成未来轨迹。
• 随后，条件轨迹预测器基于每个预测的影响者轨迹，生成反应者轨迹。
• 通过联合似然对联合轨迹样本进行评分，选择得分最高的组合作为最终预测结果。
• 该框架具有模块化特性，可与多种上下文编码器和预测头集成，包括 VectorNet 和 TNT。
• 在推理时训练关系预测器以推断影响者-反应者角色，实现动态交互建模。

实验结果

研究问题

• RQ1 是否一种将边缘建模与条件建模分离的因子化预测方法，能够提升符合场景的多智能体轨迹预测？
• RQ2 通过影响者-反应者角色建模智能体交互，与联合或边缘预测基线相比，在准确性和一致性方面表现如何？
• RQ3 M2I 框架在不同主干预测模型和数据集上的泛化能力有多强？
• RQ4 基于预测的影响者轨迹的条件预测，是否能生成更真实且无碰撞的联合轨迹？
• RQ5 M2I 的性能在不同智能体类型（如车辆、行人、自行车）之间如何变化，这些类型具有不同的交互频率？

主要发现

• M2I 在 Waymo Open Motion Dataset 的交互预测基准上实现了最先进性能，minFDE 为 3.38，mAP 为 0.14，优于边缘基线（minFDE: 3.43，mAP: 0.10）。
• 该方法将 OR（重叠率）从边缘基线的 0.42 降低至 0.20，表明显著提升的场景符合性与更少的轨迹碰撞。
• 当使用不同主干模型（TNT + VectorNet）时，M2I 仍保持一致的性能提升，尤其在 mAP 上提升 +0.04，OR 降低 -0.14，展现出强大的泛化能力。
• 使用真实影响者轨迹的条件预测器（M2I Conditional GT）性能优于边缘基线，验证了条件建模的有效性。
• 性能提升对车辆最为显著，因其交互数据丰富；而行人和自行车的改进相对有限，因训练交互数据稀疏。
• 定性结果表明，M2I 成功捕捉了让行和响应行为，例如红色智能体减速以让行正在进行 U 型转弯的蓝色智能体，而边缘模型无法预测此类行为。