[论文解读] Joint Policy Search for Multi-agent Collaboration with Imperfect Information

Yuandong Tian, Qucheng Gong+1 more|arXiv (Cornell University)|Aug 14, 2020

Reinforcement Learning in Robotics被引用 1

一句话总结

本文提出联合策略搜索（JPS），一种新颖的算法，用于不完美信息博弈中的多智能体协作，通过引入一种名为策略变化密度的新概念，将全局价值变化分解为局部策略更新。JPS 在无需完整重评整个游戏的情况下，迭代改进联合策略，在表格型博弈中表现优于先前方法，并在1,000副桥牌游戏中实现每副 +0.63 IMPs 的提升，超越了包括WBridge5在内的职业级软件。

ABSTRACT

To learn good joint policies for multi-agent collaboration with imperfect information remains a fundamental challenge. While for two-player zero-sum games, coordinate-ascent approaches (optimizing one agent's policy at a time, e.g., self-play) work with guarantees, in multi-agent cooperative setting they often converge to sub-optimal Nash equilibrium. On the other hand, directly modeling joint policy changes in imperfect information game is nontrivial due to complicated interplay of policies (e.g., upstream updates affect downstream state reachability). In this paper, we show global changes of game values can be decomposed to policy changes localized at each information set, with a novel term named policy-change density. Based on this, we propose Joint Policy Search(JPS) that iteratively improves joint policies of collaborative agents in imperfect information games, without re-evaluating the entire game. On multi-agent collaborative tabular games, JPS is proven to never worsen performance and can improve solutions provided by unilateral approaches (e.g, CFR), outperforming algorithms designed for collaborative policy learning (e.g. BAD). Furthermore, for real-world games, JPS has an online form that naturally links with gradient updates. We test it to Contract Bridge, a 4-player imperfect-information game where a team of $2$ collaborates to compete against the other. In its bidding phase, players bid in turn to find a good contract through a limited information channel. Based on a strong baseline agent that bids competitive bridge purely through domain-agnostic self-play, JPS improves collaboration of team players and outperforms WBridge5, a championship-winning software, by $+0.63$ IMPs (International Matching Points) per board over 1k games, substantially better than previous SoTA ($+0.41$ IMPs/b) under Double-Dummy evaluation.

研究动机与目标

• 解决在不完美信息环境下多智能体协作设置中学习有效联合策略的挑战。
• 克服类似CFR和BAD等单边方法在协作环境中收敛次优的问题。
• 开发一种可扩展的、迭代式的策略改进方法，避免对整个游戏进行重新评估。
• 通过与梯度兼容的更新方式，实现实时游戏中的在线学习。
• 在复杂的真实不完美信息博弈（如桥牌）中展示卓越性能。

提出的方法

• 引入策略变化密度作为新概念，将全局游戏价值变化分解为每个信息集的局部策略更新。
• 提出联合策略搜索（JPS），一种迭代算法，通过聚焦于局部策略变化来改进联合策略，而无需重新评估整个游戏。
• 采用类似坐标上升的方法，但通过全局价值分解确保单调性改进。
• 推导出一个数学框架，将策略变化与价值变化关联，实现稳定且高效的更新。
• 将JPS适配为与梯度更新兼容的在线形式，适用于真实游戏应用。
• 采用双倍残局评估框架，用于在桥牌中基准测试性能。

实验结果

研究问题

• RQ1 是否可以在不进行完整游戏重评的情况下实现不完美信息博弈中的联合策略改进？
• RQ2 将全局价值变化分解为局部策略更新是否能带来单调的性能提升？
• RQ3 JPS是否能在协作型多智能体环境中超越类似CFR和BAD的单边策略学习方法？
• RQ4 JPS是否能有效应用于具有复杂信息结构的真实游戏（如桥牌）？
• RQ5 JPS在真实世界基准测试中是否优于当前最先进水平的智能体？

主要发现

• JPS 永远不会使性能变差，并且在表格型多智能体博弈中始终优于CFR等单边方法生成的解决方案。
• 在表格型协作环境中，JPS 表现出色，优于专门设计的协作策略学习算法（如BAD）。
• 在桥牌中，JPS 提升了队友之间的协作表现，在1,000局游戏中实现每副 +0.63 IMPs 的提升。
• 该性能超过此前最先进水平的 +0.41 IMPs 每副（在双倍残局评估下）。
• JPS 超越了WBridge5（一款冠军级桥牌软件），证明其在真实环境中的实际优越性。
• JPS 的在线变体支持高效且与梯度兼容的更新，适用于大规模和动态的游戏环境。