[论文解读] Deep Interactive Motion Prediction and Planning: Playing Games with Motion Prediction Models

J. L. Vázquez Burguete, Alexander Liniger+3 more|arXiv (Cornell University)|Apr 5, 2022

Autonomous Vehicle Technology and Safety被引用 29

一句话总结

本论文提出一个交互式运动预测-规划模块，通过博弈论模型预测控制和新颖的交互式多智能体策略(IMAP)，采用基于模型的模仿学习进行训练，实现紧耦合的预测与规划。

ABSTRACT

In most classical Autonomous Vehicle (AV) stacks, the prediction and planning layers are separated, limiting the planner to react to predictions that are not informed by the planned trajectory of the AV. This work presents a module that tightly couples these layers via a game-theoretic Model Predictive Controller (MPC) that uses a novel interactive multi-agent neural network policy as part of its predictive model. In our setting, the MPC planner considers all the surrounding agents by informing the multi-agent policy with the planned state sequence. Fundamental to the success of our method is the design of a novel multi-agent policy network that can steer a vehicle given the state of the surrounding agents and the map information. The policy network is trained implicitly with ground-truth observation data using backpropagation through time and a differentiable dynamics model to roll out the trajectory forward in time. Finally, we show that our multi-agent policy network learns to drive while interacting with the environment, and, when combined with the game-theoretic MPC planner, can successfully generate interactive behaviors.

研究动机与目标

• 促使将预测与规划耦合，以考虑智能体之间的双向交互。
• 引入一个多智能体交互式预测(IMAP)策略，该策略对规划中的自我轨迹作出反应。
• 在可微分动力学条件下，开发一种基于模型的模仿学习方法来训练 IMAP 策略。
• 结合地图信息和智能体交互，以提升反应性决策。
• 在大规模运动数据集上演示交互行为的生成。

提出的方法

• 用一个可微分的单轮式动力学模型，将状态、隐藏状态和地图映射到动作，形成一个抽象的多智能体策略。
• 使用基于模型的模仿学习，通过时序反向传播和对状态轨迹的模仿损失来训练该策略。
• 将 IMAP 策略结构为三个交互模块：意图（对智能体的注意力）、物理（基于状态的图神经网络）、地图（基于VectorNet的地图编码并带有跨注意力）。
• 使用一个循环GRU主干来融合交互嵌入，并将动作输出为对可微分动力学进行 squashed Gaussian 的形式。
• 应用闭环训练以鼓励反应性行为，而非仅仅外推，在博弈论MPC环境中实现类似最佳反应的规划。
• 利用可微分的动力学模型进行轨迹展开，并在一个交互式预测-规划框架内端到端训练。

实验结果

研究问题

• RQ1 在没有显式奖励函数学习的情况下，嵌入MPC规划器的学习型多智能体策略能否捕捉自我与其他智能体之间的互动行为？
• RQ2 在 IMAP 策略中结合意图、物理与地图交互，是否会提高对真实世界数据集上的反应性预测和规划性能？
• RQ3 基于模型的、具有可微分动力学的模仿学习能否实现多智能体的稳定、交互式轨迹生成？
• RQ4 在条件为高精地图信息和多智能体交互时，该交互式预测-规划模块的表现如何？

主要发现

• 将预测与博弈论规划结合的交互式预测-规划模块是可行的，且能生成交互性行为。
• 一种新颖的IMAP策略能够通过可微分动力学的基于模型的模仿学习来学习驾驶并与环境互动。
• 三种交互通道——意图、物理和地图交互——通过 GRU、GNN 和 VectorNet 组件整合，生成可执行的轨迹。
• 该策略在大规模运动数据集 Lyft Level 5 和 Waymo Open Motion Dataset 上展示出反应性行为。
• 训练采用闭环、受教师 forcing 启发的策略，以避免过度外推并提升避免碰撞与保持车道的能力。