[论文解读] Inference-Based Strategy Alignment for General-Sum Differential Games

Lasse Peters, David Fridovich-Keil+2 more|arXiv (Cornell University)|Feb 11, 2020

Artificial Intelligence in Games参考文献 34被引用 7

一句话总结

该论文提出了一种基于推理的策略对齐框架，用于具有多个纳什均衡的非零和微分博弈，通过粒子滤波推断其他智能体所针对的均衡，并据此对齐机器人的策略。该方法实现了实时、精确的轨迹预测，并通过与推断出的均衡对齐，降低了所有参与方的成本，在最多5名参与者的多人人机导航仿真中得到验证。

ABSTRACT

In many settings where multiple agents interact, the optimal choices for each agent depend heavily on the choices of the others. These coupled interactions are well-described by a general-sum differential game, in which players have differing objectives, the state evolves in continuous time, and optimal play may be characterized by one of many equilibrium concepts, e.g., a Nash equilibrium. Often, problems admit multiple equilibria. From the perspective of a single agent in such a game, this multiplicity of solutions can introduce uncertainty about how other agents will behave. This paper proposes a general framework for resolving ambiguity between equilibria by reasoning about the equilibrium other agents are aiming for. We demonstrate this framework in simulations of a multi-player human-robot navigation problem that yields two main conclusions: First, by inferring which equilibrium humans are operating at, the robot is able to predict trajectories more accurately, and second, by discovering and aligning itself to this equilibrium the robot is able to reduce the cost for all players.

研究动机与目标

• 解决在存在多个纳什均衡时，非零和微分博弈中策略对齐问题所引入的智能体行为不确定性。
• 使自主智能体能够在无直接通信的情况下推断其他智能体所针对的均衡。
• 通过将机器人的策略与推断出的均衡对齐，提升轨迹预测精度并降低整体系统成本。
• 开发一种适用于具有局部纳什均衡的多智能体连续时间博弈的实时、可扩展规划框架。
• 通过使用粒子滤波对可能的均衡维持信念，实现在不确定性下的稳健决策。

提出的方法

• 该框架将其他智能体的目标均衡建模为隐藏状态，通过粒子滤波利用观测到的动作和采样的局部纳什策略进行推断。
• 每个粒子代表一个候选均衡及其关联的反馈策略，根据观测行为进行更新。
• 信念更新使用似然函数，将观测到的智能体轨迹与在每个候选均衡下预测的轨迹进行比较。
• 机器人基于信念分布中最可能的均衡进行规划，从而实现策略对齐。
• 该方法利用了近期在高效计算连续时间非零和微分博弈中局部纳什均衡方面的进展。
• 采用滚动时域方法实现实时运行，通过粒子剪枝和均衡求解器的热启动降低运行时间。

实验结果

研究问题

• RQ1 在具有多个纳什均衡的非零和微分博弈中，自主智能体如何推断其他智能体所针对的均衡？
• RQ2 推断目标均衡是否能提升多智能体导航场景中的轨迹预测精度？
• RQ3 与随机或不匹配的策略选择相比，将机器人的策略对齐到推断出的均衡是否能降低所有参与方的成本？
• RQ4 该基于推理的策略对齐框架在高维多智能体设置下的可扩展性如何？
• RQ5 尽管均衡计算和信念更新具有计算开销，该框架能否保持实时性能？

主要发现

• 在三名参与者的导航场景中，机器人通过推断人类智能体的目标均衡，显著提升了轨迹预测的准确性。
• 基于推断均衡的策略对齐降低了所有参与方的成本，其中自主智能体在成本效率方面表现出显著改善。
• 该方法在三名参与者的场景中实现了实时性能，平均每个规划步长的运行时间略低于2毫秒。
• 在五名参与者的场景中，信念优化后的平均规划时间为3.2秒，通过粒子剪枝和热启动显著降低了计算负载。
• 该框架展现出良好的可扩展性与鲁棒性，即使在参与方数量增加、均衡多重性增强的情况下仍能保持性能。
• 基于信念的方法使机器人在复杂、高不确定性环境中优于假设随机或不匹配均衡的基线方法。