[论文解读] Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning

Andrea Celli, Marco Ciccone+2 more|arXiv (Cornell University)|Dec 16, 2019

Evolutionary Game Theory and Cooperation被引用 5

一句话总结

该论文提出 Soft Team Actor-Critic (STAC)，一种多智能体深度强化学习框架，通过外部信号在对抗性序列博弈中实现团队学习近似最优协调策略，无需先验领域知识或显式博弈树表示。STAC 允许团队成员通过学习无信息信号的共享含义来隐式协调，在先前深度强化学习方法失效的完全可观测和部分可观测游戏中均取得优异性能。

ABSTRACT

Many real-world applications involve teams of agents that have to coordinate their actions to reach a common goal against potential adversaries. This paper focuses on zero-sum games where a team of players faces an opponent, as is the case, for example, in Bridge, collusion in poker, and collusion in bidding. The possibility for the team members to communicate before gameplay---that is, coordinate their strategies ex ante---makes the use of behavioral strategies unsatisfactory. We introduce Soft Team Actor-Critic (STAC) as a solution to the team's coordination problem that does not require any prior domain knowledge. STAC allows team members to effectively exploit ex ante communication via exogenous signals that are shared among the team. STAC reaches near-optimal coordinated strategies both in perfectly observable and partially observable games, where previous deep RL algorithms fail to reach optimal coordinated behaviors.

研究动机与目标

• 解决在博弈过程中智能体无法通信但可事前协调的对抗性序列博弈中团队协调的挑战。
• 开发一种可扩展的、无模型的深度强化学习方法，学习协调策略，而无需显式博弈树表示或领域特定的抽象。
• 通过引入一种合理的外部信号机制，在历史依赖协调失效的部分可观测环境中实现有效协调。
• 证明团队成员能够为最初无信息的信号学习共享含义，从而实现最优或近似最优的团队行为。
• 在协调任务中超越现有深度强化学习算法，尤其在先前方法无法实现协调行为的不完美信息设定下。

提出的方法

• STAC 采用集中训练、分散执行的框架，每个回合开始时采样一个共享的相关性装置（外部信号）。
• 使用超网络使策略和价值网络基于外部信号进行条件化，从而实现信号依赖的行为学习。
• 该算法在 Soft Actor-Critic (SAC) 的基础上引入互信息正则化，以鼓励团队成员学习信号与协调动作之间的有意义关联。
• 策略从原始经验端到端训练，无需显式博弈树表示或先验领域知识。
• 该方法支持完全可观测和部分可观测环境，协调通过基于信号的策略条件化自然涌现。
• 通过利用共享信号作为相关性装置，框架被设计为隐式学习团队最大化相关均衡（TMECor）。

实验结果

研究问题

• RQ1 多智能体深度强化学习能否在无需先验领域知识或显式博弈树表示的情况下，在对抗性序列博弈中学习到有效的协调？
• RQ2 最初无信息的外部信号能否被用于使团队成员学习共享含义并实现协调行为？
• RQ3 所提出的信号机制是否在部分可观测环境中优于基于历史的协调方法？
• RQ4 STAC 能否在先前深度强化学习方法失效的完全可观测和部分可观测游戏中实现近似最优性能？
• RQ5 在大型或复杂博弈中，团队的协调策略在多大程度上能近似最优的团队最大化相关均衡（TMECor）？

主要发现

• STAC 在完全可观测和部分可观测博弈中均成功学习到近似最优的协调策略，即使先前的深度强化学习算法无法实现协调。
• 在部分可观测协调博弈中，STAC 通过学习将特定动作与不同外部信号关联，实现了最优行为，优于仅依赖历史的基线方法。
• 当信号数量增加到三个时，团队成员根据信号观察学习协调至更高收益的终止状态，与理论上的 TMECor 一致。
• 在 Leduc 扑克牌游戏（完全可观测游戏）中，STAC 实现了强大的协调性能，且引入信号机制后进一步提升了性能，优于仅依赖历史的条件化方法。
• 该方法表明，团队成员可以隐式学习最初无信息信号的共享含义，从而在无需先验通信协议的情况下实现有效协调。
• STAC 在标准基准测试中表现出具有竞争力的性能，无需显式博弈树表示或领域特定抽象，展现出良好的可扩展性和泛化能力。