[论文解读] Bayesian Inverse Games with High-Dimensional Multi-Modal Observations

Yash Jain, X. X. Liu+3 more|arXiv (Cornell University)|Jan 2, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

该论文提出一个可处理的贝叶斯逆向博弈框架，使用带可微分纳什求解器的结构化变分自编码器从轨迹和图像中推断多模态对手意图，从而实现不确定性感知和更安全的实时规划。

ABSTRACT

Many multi-agent interaction scenarios can be naturally modeled as noncooperative games, where each agent's decisions depend on others' future actions. However, deploying game-theoretic planners for autonomous decision-making requires a specification of all agents' objectives. To circumvent this practical difficulty, recent work develops maximum likelihood techniques for solving inverse games that can identify unknown agent objectives from interaction data. Unfortunately, these methods only infer point estimates and do not quantify estimator uncertainty; correspondingly, downstream planning decisions can overconfidently commit to unsafe actions. We present an approximate Bayesian inference approach for solving the inverse game problem, which can incorporate observation data from multiple modalities and be used to generate samples from the Bayesian posterior over the hidden agent objectives given limited sensor observations in real time. Concretely, the proposed Bayesian inverse game framework trains a structured variational autoencoder with an embedded differentiable Nash game solver on interaction datasets and does not require labels of agents' true objectives. Extensive experiments show that our framework successfully learns prior and posterior distributions, improves inference quality over maximum likelihood estimation-based inverse game approaches, and enables safer downstream decision-making without sacrificing efficiency. When trajectory information is uninformative or unavailable, multimodal inference further reduces uncertainty by exploiting additional observation modalities.

研究动机与目标

• 从多模态观测中推断非合作博弈中未知对手目标。
• 通过贝叶斯后验量化推断博弈参数的不确定性。
• 实现对多模态数据的实时、安全意识的下游规划。
• 在基于MLE的逆向博弈方法上展示更优的推断和规划性能。

提出的方法

• 将逆向博弈表述为对带参数的一般化纳什均衡的博弈参数的贝叶斯推断。
• 在变分自编码器内嵌入一个可微分的纳什博弈求解器，以学习对手意图的生成信念模型。
• 用高斯似然在博弈求解器的均衡结果条件下对轨迹观测进行建模。
• 引入潜在变量模型，其中潜在变量z映射到博弈参数theta和图像均值，从而实现多模态数据融合。
• 通过一个耗散ELBO目标进行训练，在KKT条件的隐式微分下将梯度反向传播 through 博弈求解器。
• 利用高斯代理q(z|y)近似潜在变量的后验，从而实现theta|y的采样。

实验结果

研究问题

• RQ1 如何从多模态观测（轨迹和图像）中推断未知博弈参数的后验分布，在逆向博弈中？
• RQ2 在高维可视观测的引入下，是否降低不确定性并提升下游规划的安全性，相较于仅轨迹的方法？
• RQ3 所提框架是否能够捕捉多模态后验分布并在没有真实目标标签的情况下实现实时运行？
• RQ4 在训练过程中如何将梯度通过嵌入的可微分纳什求解器进行传播？
• RQ5 多模态数据在现实仿真中的推断质量和规划性能有哪些影响？

主要发现

• 该框架学习对手意图的先验和后验分布，并在推断质量上优于基于MLE的逆向博弈方法。
• 当轨迹信息不提供信息或不可用时，多模态观测可降低不确定性。
• 该方法实现了实时运行的更安全的下游决策制定，且未牺牲效率。
• 嵌入可微分纳什求解器为端到端训练提供了可解释、可处理的梯度。
• 在CARLA的实验中，结合视觉线索与部分状态观测对逆向博弈推断具有显著收益。