[论文解读] Maximum-Entropy Multi-Agent Dynamic Games: Forward and Inverse Solutions

Negar Mehr, Mingyu Wang+1 more|arXiv (Cornell University)|Oct 3, 2021

Traffic control and management被引用 6

一句话总结

本文提出了一种新型随机纳什均衡——熵成本均衡（Entropic Cost Equilibrium, ECE），适用于具有连续状态与动作的有限理性多智能体动态博弈。该文提出了一种基于Riccati的算法，用于在线性二次高斯（LQG）设定下精确计算ECE反馈策略，并提出一种迭代方法用于非线性情形，从而通过考虑博弈论交互关系与有限理性，实现从示范中准确进行逆向学习智能体成本函数。

ABSTRACT

In this paper, we study the problem of multiple stochastic agents interacting in a dynamic game scenario with continuous state and action spaces. We define a new notion of stochastic Nash equilibrium for boundedly rational agents, which we call the Entropic Cost Equilibrium (ECE). We show that ECE is a natural extension to multiple agents of Maximum Entropy optimality for single agents. We solve both the "forward" and "inverse" problems for the multi-agent ECE game. For the forward problem, we provide a Riccati algorithm to compute closed-form ECE feedback policies for the agents, which are exact in the Linear-Quadratic-Gaussian case. We give an iterative variant to find locally ECE feedback policies for the nonlinear case. For the inverse problem, we present an algorithm to infer the cost functions of the multiple interacting agents given noisy, boundedly rational input and state trajectory examples from agents acting in an ECE. The effectiveness of our algorithms is demonstrated in a simulated multi-agent collision avoidance scenario, and with data from the INTERACTION traffic dataset. In both cases, we show that, by taking into account the agents' game theoretic interactions using our algorithm, a more accurate model of agents' costs can be learned, compared with standard inverse optimal control methods.

研究动机与目标

• 解决在智能体表现出有限理性与噪声决策的多智能体交互系统中学习成本函数的挑战。
• 形式化一种新的均衡概念——熵成本均衡（ECE），将最大熵最优性推广至多智能体场景。
• 通过在LQG博弈中以闭式形式计算ECE反馈策略，并在非线性情形中迭代求解，解决前向问题。
• 通过基于博弈论一致性的方法，从噪声性、有限理性的轨迹示范中推断智能体成本函数，解决逆向问题。
• 通过显式建模智能体间的反馈交互关系，在逆向建模中实现对标准IRL/IOC方法的精度提升。

提出的方法

• 将熵成本均衡（ECE）定义为一种结合最大熵策略分布以体现有限理性的随机纳什均衡。
• 推导出用于计算线性二次高斯（LQG）博弈中精确ECE反馈策略的Riccati型递推关系，其形式与LQR和LQGame解类似。
• 提出一种迭代算法，用于在具有通用动力学与成本函数的非线性多智能体系统中近似求解ECE策略。
• 将逆向问题表述为特征期望匹配任务，通过学习成本函数权重，使ECE策略与示范中经验特征均值相匹配。
• 利用动态规划与二次代价到终点结构，证明最优代价到终点函数保持二次形式，从而实现策略参数的递归计算。
• 将前向ECE求解结果集成至逆向算法中，通过梯度优化交替执行策略计算与成本函数更新。

实验结果

研究问题

• RQ1 如何在多智能体动态博弈中建模人类决策中的有限理性与噪声？
• RQ2 是否存在一种系统化的博弈论均衡概念，可将最大熵最优性推广至多智能体场景？
• RQ3 能否为线性二次高斯多智能体系统推导出闭式ECE反馈策略？
• RQ4 如何在保持博弈论一致性前提下，求解从示范中推断智能体成本函数的逆向问题？
• RQ5 在逆向学习中考虑智能体交互关系，是否能实现比标准IRL/IOC方法更精确的成本函数恢复？

主要发现

• 熵成本均衡（ECE）在单智能体场景下与最大熵原理数学等价，并将其推广至多智能体动态博弈。
• 在LQG博弈中，ECE反馈策略通过Riccati递推以闭式形式计算，精确求得策略均值与协方差。
• 在非线性场景中，迭代算法通过求解一系列二次近似，收敛至局部最优的ECE策略。
• 逆向算法成功从合成数据与真实世界交通数据（INTERACTION数据集）中恢复成本函数，建模精度优于标准IRL方法。
• 在多智能体避碰场景中，该方法学习到的成本函数更贴近观测到的人类行为模式，优于基线IRL方法。
• 通过在ECE框架中显式建模策略熵与有限理性，该方法在噪声示范下表现出鲁棒性。