[论文解读] Multi-agent Inverse Reinforcement Learning for Zero-sum Games.

Xiaomin Lin, Peter A. Beling+1 more|arXiv (Cornell University)|Mar 25, 2014

Reinforcement Learning in Robotics参考文献 18被引用 11

一句话总结

本文提出了一种贝叶斯多智能体逆强化学习（MIRL）框架，用于两人零和随机博弈，用纳什均衡概念替代基于MDP的最优性。该方法在最小最大双策略假设下使用生成模型与贝叶斯优化来推断智能体奖励，表明奖励先验的协方差结构对学习质量的影响大于均值。

ABSTRACT

In this paper we introduce a Bayesian framework for solving a class of problems termed Multi-agent Inverse Reinforcement Learning (MIRL). Compared to the well-known Inverse Reinforcement Learning (IRL) problem, MIRL is formalized in the context of a stochastic game rather than a Markov decision process (MDP). Games bring two primary challenges: First, the concept of optimality, central to MDPs, loses its meaning and must be replaced with a more general solution concept, such as the Nash equilibrium. Second, the non-uniqueness of equilibria means that in MIRL, in addition to multiple reasonable solutions for a given inversion model, there may be multiple inversion models that are all equally sensible approaches to solving the problem. We establish a theoretical foundation for competitive two-agent MIRL problems and propose a Bayesian optimization algorithm to solve the problem. We focus on the case of two-person zero-sum stochastic games, developing a generative model for the likelihood of unknown rewards of agents given observed game play assuming that the two agents follow a minimax bipolicy. As a numerical illustration, we apply our method in the context of an abstract soccer game. For the soccer game, we investigate relationships between the extent of prior information and the quality of learned rewards. Results suggest that covariance structure is more important than mean value in reward priors.

研究动机与目标

• 解决传统逆强化学习（IRL）在多智能体环境中因策略互动导致最优性定义不清的局限性。
• 在随机博弈背景下形式化MIRL，以纳什均衡作为解概念，替代基于MDP的最优性。
• 应对多智能体奖励推断中双重挑战：非唯一均衡与非唯一反演模型。
• 开发一种贝叶斯优化算法，从零和设置中的观测博弈行为中推断未知智能体奖励。
• 研究先验信息——特别是先验协方差结构——对学习奖励准确性的影响。

提出的方法

• 在两人零和随机博弈设定下形式化MIRL问题，以随机博弈替代MDP作为基础框架。
• 采用最小最大双策略作为行为模型，假设智能体在纳什均衡下相互最优应对。
• 构建一个生成模型，用于在给定观测博弈轨迹时，估计智能体奖励的似然性，假设具备最小最大理性。
• 定义一个包含均值与协方差结构的先验分布，以编码先验知识。
• 应用贝叶斯优化推断奖励的后验分布，在推理过程中平衡探索与利用。
• 通过在抽象足球游戏中的数值实验，评估不同先验假设下方法的性能。

实验结果

研究问题

• RQ1 如何将逆强化学习扩展到传统基于MDP的最优性不适用的竞争性多智能体环境？
• RQ2 关于奖励结构的先验知识——特别是先验协方差——在多智能体逆强化学习中对推断奖励准确性的影响力有多大？
• RQ3 多个均衡与多个反演模型如何影响零和博弈中奖励推断的可识别性与鲁棒性？
• RQ4 贝叶斯框架能否有效处理多智能体逆强化学习中解的非唯一性问题？
• RQ5 先验均值与先验协方差在决定学习奖励质量方面，各自贡献如何？

主要发现

• 所提出的贝叶斯MIRL框架通过用纳什均衡概念替代基于MDP的最优性，成功处理了零和随机博弈的复杂性。
• 该方法表明，奖励先验的协方差结构对学习质量的影响大于先验均值。
• 在抽象足球游戏实验中，具有信息性协方差结构的模型即使在观测数据有限的情况下，也能实现更精确的奖励恢复。
• 非唯一均衡与非唯一反演模型被确认为核心挑战，但贝叶斯框架为此类场景提供了处理不确定性的系统性方法。
• 在最小最大双策略假设下的生成模型，能够实现可靠的似然估计，为后验推断提供了坚实基础。
• 贝叶斯优化实现了对奖励空间的高效探索，提升了奖励推断的收敛性与鲁棒性。