[论文解读] Comparison of Multi-agent and Single-agent Inverse Learning on a Simulated Soccer Example

Xiaomin Lin, Peter A. Beling+1 more|arXiv (Cornell University)|Mar 26, 2014

Reinforcement Learning in Robotics参考文献 14被引用 5

一句话总结

本文在模拟足球环境中比较了单智能体逆强化学习（IRL）与多智能体逆强化学习（MIRL）的表现，将贝叶斯IRL扩展以处理依赖于状态与动作的奖励。结果表明，MIRL在恢复真实奖励和生成更优前向策略方面显著优于IRL，主要原因是IRL无法捕捉多智能体系统固有的均衡动态。

ABSTRACT

We compare the performance of Inverse Reinforcement Learning (IRL) with the relative new model of Multi-agent Inverse Reinforcement Learning (MIRL). Before comparing the methods, we extend a published Bayesian IRL approach that is only applicable to the case where the reward is only state dependent to a general one capable of tackling the case where the reward depends on both state and action. Comparison between IRL and MIRL is made in the context of an abstract soccer game, using both a game model in which the reward depends only on state and one in which it depends on both state and action. Results suggest that the IRL approach performs much worse than the MIRL approach. We speculate that the underperformance of IRL is because it fails to capture equilibrium information in the manner possible in MIRL.

研究动机与目标

• 评估单智能体IRL是否能在其他智能体为理性且具有交互性的多智能体环境中有效恢复真实奖励。
• 将贝叶斯IRL方法扩展以处理不仅依赖于状态、还依赖于动作的奖励函数。
• 在两人零和随机博弈中，比较IRL与MIRL在恢复真实奖励和生成高质量前向策略方面的表现。
• 探究MIRL建模均衡行为的能力是否使其在奖励推断方面优于IRL所采用的被动环境假设。

提出的方法

• 通过将奖励函数建模为同时依赖于状态与动作，将贝叶斯IRL扩展以处理状态与动作相关的奖励，从而实现对联合状态-动作分布的推断。
• 为模拟足球环境构建了一个两人零和随机博弈模型，包含明确的状态转移、奖励与动作空间。
• 采用贝叶斯框架下的MIRL方法，联合推断在纳什均衡约束下的收益矩阵与策略，并利用观测到的联合策略。
• 使用蒙特卡洛模拟评估所学奖励的质量，通过测量基于IRL与MIRL恢复奖励所导出的极小化极大策略的性能。
• 采用多种先验配置（弱、中等、强均值；强协方差），评估在不同信念结构下奖励恢复的鲁棒性。
• 通过可视化恢复的奖励与PSS（得分射门概率）分布，并量化模拟比赛中胜负结果，对比IRL与MIRL的结果。

实验结果

研究问题

• RQ1 标准IRL是否能在其他智能体为理性且具有交互性的多智能体环境中有效恢复真实奖励？
• RQ2 将IRL扩展以处理依赖于状态与动作的奖励，是否能提升其在多智能体环境中的性能？
• RQ3 MIRL建模均衡行为的能力相较于IRL，对奖励恢复准确性的提升程度如何？
• RQ4 与MIRL恢复的奖励相比，IRL恢复的奖励在多大程度上导致次优前向策略？
• RQ5 MIRL是否能在不同奖励结构先验假设下始终优于IRL？

主要发现

• 在所有实验设置中，IRL在恢复真实奖励方面始终表现逊于MIRL，IRL学习到的奖励与真实奖励分布存在显著偏差。
• 在所有配置（弱、中等、强均值）下，MIRL恢复的奖励与真实奖励具有高度重叠，而IRL的结果始终远离真实值。
• IRL恢复的PSS（得分射门概率）与真实PSS对齐度较差，而MIRL恢复的PSS分布与真实情况高度一致。
• 在蒙特卡洛模拟中，当双方均使用MIRL恢复的奖励时，在β=0、0.6与1时B均赢得100%的比赛，表明其策略质量更优。
• 当A使用IRL恢复的奖励而B使用MIRL恢复的奖励时，在β=1时B赢得62.30%的比赛，显示出MIRL具有显著的性能优势。
• 结果表明，IRL未能捕捉均衡信息，而MIRL基于博弈论的框架使其能够实现更准确的奖励推断与更优的策略生成。