[论文解读] Multi-agent Reinforcement Learning in Sequential Social Dilemmas

Joel Z. Leibo, Vinícius Zambaldi+3 more|arXiv (Cornell University)|Feb 10, 2017

Evolutionary Game Theory and Cooperation参考文献 40被引用 274

一句话总结

论文将 Sequential Social Dilemmas (SSDs) 定义为时序扩展的马尔可夫博弈，研究独立的深度 Q 学习代理在两个环境——Gathering 和 Wolfpack——中学习合作或背叛，展示环境因素如何影响合作行为并强调与 MGSD 模型的差异。

ABSTRACT

Matrix games like Prisoner's Dilemma have guided research on social dilemmas for decades. However, they necessarily treat the choice to cooperate or defect as an atomic action. In real-world social dilemmas these choices are temporally extended. Cooperativeness is a property that applies to policies, not elementary actions. We introduce sequential social dilemmas that share the mixed incentive structure of matrix game social dilemmas but also require agents to learn policies that implement their strategic intentions. We analyze the dynamics of policies learned by multiple self-interested independent learning agents, each using its own deep Q-network, on two Markov games we introduce here: 1. a fruit Gathering game and 2. a Wolfpack hunting game. We characterize how learned behavior in each domain changes as a function of environmental factors including resource abundance. Our experiments show how conflict can emerge from competition over shared resources and shed light on how the sequential nature of real world social dilemmas affects cooperation.

研究动机与目标

• 引入 sequential social dilemmas (SSDs) 以捕捉时序扩展的合作/背叛。
• 证明 SSDs 保留 MGSDs 的混合激励，同时需要策略层面的合作。
• 分析环境因素（资源丰度、冲突成本）如何塑造学到的行为。
• 展示独立学习代理如何揭示与 MGSD 模型不同的合作动态。

提出的方法

• 将 SSDs 定义为在部分可观测性下的马尔可夫博弈，其中合作/背叛策略的结果形成一个经验性收益矩阵。
• 使用两个两人、部分可观测的马尔可夫博弈（Gathering 和 Wolfpack）来研究涌现行为。
• 应用独立的深度 Q 网络（DQN）学习者，采用 epsilon-greedy 探索和回放缓冲区来学习策略。
• 通过经验博弈论分析（EGTA）在采样合作与背叛策略时计算经验收益矩阵。
• 操控环境参数（苹果丰度、标签持续时间、捕获半径、队伍奖励）以观察对合作的影响。
• 把另一个代理视为环境的一部分，避免对对方学习过程的规定性建模。

实验结果

研究问题

• RQ1 环境因素如何影响 SSDs 中合作策略与背叛策略的出现？
• RQ2 当通过独立深度 RL 学习时，SSDs 是否呈现出与 MGSDs 不同的定性动态与均衡？
• RQ3 在不同资源与互动成本下，涌现出哪些异质的合作策略？
• RQ4 代理架构与学习参数如何影响背叛或合作的倾向？

主要发现

• 环境稀缺性和更高的冲突成本在 Gathering 中促进更具攻击性的背叛策略。
• 在 Wolfpack 中，更高的群体收益和更大的捕获半径会增加合作的多代理狩猎行为。
• 这些 SSDs 的经验收益矩阵往往反映囚徒困境的收益，但从 SSD 视角看，Gathering 与 Wolfpack 的博弈结构存在显著差异。
• 网络规模的增加可能在 Wolfpack 中增加合作，而在 Gathering 中增加背叛，显示认知能力的任务相关效应。
• SSD 分析揭示 MGSD 模型未能捕捉的协调与执行复杂性。