[论文解读] Learning Game-Theoretic Models of Multiagent Trajectories Using Implicit Layers

Philipp Geiger, Christoph-Nikolas Straehle|arXiv (Cornell University)|Aug 17, 2020

Time Series Analysis and Forecasting被引用 6

一句话总结

本文提出一种端到端可微分架构，将神经网络与博弈论推理相结合，通过将局部纳什均衡建模为可解释的轨迹模式，实现多智能体轨迹预测。该方法利用隐式层实现可微分博弈求解，学习智能体偏好与均衡精炼机制，在高速公路汇入场景中实现最先进性能，并具备可解释性与可迁移性表示。

ABSTRACT

For prediction of interacting agents' trajectories, we propose an end-to-end trainable architecture that hybridizes neural nets with game-theoretic reasoning, has interpretable intermediate representations, and transfers to downstream decision making. It uses a net that reveals preferences from the agents' past joint trajectory, and a differentiable implicit layer that maps these preferences to local Nash equilibria, forming the modes of the predicted future trajectory. Additionally, it learns an equilibrium refinement concept. For tractability, we introduce a new class of continuous potential games and an equilibrium-separating partition of the action space. We provide theoretical results for explicit gradients and soundness. In experiments, we evaluate our approach on two real-world data sets, where we predict highway driver merging trajectories, and on a simple decision-making transfer task.

研究动机与目标

• 解决自动驾驶等安全关键领域中多智能体轨迹预测的挑战，其中可解释性与可验证性至关重要。
• 将广为人知的博弈论原理（如工具理性与纳什均衡）整合到数据驱动模型中，以提升泛化能力与决策迁移能力。
• 通过在有意义的潜在表示中编码博弈论概念（如偏好、均衡、精炼），确保模型的可解释性。
• 通过基于隐式层的可微分方法实现端到端训练，利用精确梯度克服传统博弈论解法概念的计算不可行性。
• 设计模块化、可扩展的架构，支持从观测数据中学习下游决策与均衡精炼。

提出的方法

• 提出一类新的连续势博弈，用于建模多智能体轨迹交互，确保局部纳什均衡对应于单一目标函数的局部最优。
• 引入一种均衡分离的凹划分动作空间方法，确保局部均衡的可计算性与连续性。
• 基于隐函数定理使用隐式层，将智能体偏好（由历史轨迹推断）映射到局部纳什均衡，实现通过博弈求解器的精确反向传播。
• 设计偏好揭示网络，从观测到的联合轨迹中推断智能体的效用参数；并设计均衡精炼网络，学习在多个均衡之间进行选择的标准。
• 采用轨迹参数化与加权网络生成多模态预测，其中每种模式对应一个独立的局部纳什均衡。
• 通过最优性条件推导隐式层的显式梯度公式，确保理论严谨性与高效训练。

实验结果

研究问题

• RQ1 我们能否设计一种可微分、端到端可训练的架构，将博弈论推理与深度学习整合用于多智能体轨迹预测？
• RQ2 我们如何确保模型中的潜在表示具有明确的博弈论解释，从而实现可解释性与可验证性？
• RQ3 在连续动作博弈中，隐式层结合精确梯度在轨迹预测中求解局部纳什均衡的适用程度如何？
• RQ4 该模型能否从数据中学习均衡精炼概念，从而解决博弈论中的经典均衡选择问题？
• RQ5 所提出的架构在真实世界场景中是否具备良好泛化能力，并支持向下游决策任务的迁移？

主要发现

• 所提架构在两个真实世界高速公路汇入轨迹预测数据集上达到最先进性能，包括一个新发布的数据集。
• 该模型成功预测多模态未来轨迹，每种模式对应一个独立的局部纳什均衡，例如哪辆车辆优先汇入。
• 连续势博弈的使用确保了局部纳什均衡的稳定性并对应于局部最优，简化了搜索过程并提升了收敛性。
• 隐式层实现了通过博弈求解器的精确梯度，支持端到端训练，并在理论层面保证了正确性与可微性。
• 均衡精炼与加权网络学习到基于数据的均衡选择规则，有效解决了博弈论中预测非唯一性的经典问题。
• 该模型在下游决策任务中表现出强大的可迁移性，表明其在自动驾驶等安全关键应用中的实用价值。