[论文解读] Empirical Policy Optimization for $n$-Player Markov Games

Yuanheng Zhu, Dongbin Zhao+2 more|arXiv (Cornell University)|Oct 18, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种用于n人马尔可夫博弈的分布式、历史累积策略优化框架，该框架可证明收敛至近似纳什均衡。通过基于聚合历史表现而非即时奖励来演化策略，该方法在非平稳多智能体环境中确保了稳定性和收敛性，并在小规模博弈和使用深度强化学习的大规模乒乓（Pong）环境中进行了实证验证。

ABSTRACT

In single-agent Markov decision processes, an agent can optimize its policy based on the interaction with environment. In multi-player Markov games (MGs), however, the interaction is non-stationary due to the behaviors of other players, so the agent has no fixed optimization objective. In this paper, we treat the evolution of player policies as a dynamical process and propose a novel learning scheme for Nash equilibrium. The core is to evolve one's policy according to not just its current in-game performance, but an aggregation of its performance over history. We show that for a variety of MGs, players in our learning scheme will provably converge to a point that is an approximation to Nash equilibrium. Combined with neural networks, we develop the \emph{empirical policy optimization} algorithm, that is implemented in a reinforcement-learning framework and runs in a distributed way, with each player optimizing its policy based on own observations. We use two numerical examples to validate the convergence property on small-scale MGs with $n\ge 2$ players, and a pong example to show the potential of our algorithm on large games.

研究动机与目标

• 为解决n人马尔可夫博弈中的非平稳性挑战，其中每个智能体的优化目标因其他智能体策略的演化而改变。
• 开发一种学习机制，使算法能够在不依赖其他玩家策略或玩家数量信息的情况下收敛至纳什均衡。
• 设计一种可扩展的、分布式的强化学习框架，兼容深度神经网络，适用于大规模博弈。
• 利用李雅普诺夫稳定性与不动点理论，证明所提出的连续时间学习动态可收敛至纳什分布。

提出的方法

• 构建一种连续时间学习动态（CTLD），其中每个玩家根据累积的历史表现而非仅当前收益来更新其策略。
• 应用李雅普诺夫稳定性与不动点定理，证明CTLD在多种n人马尔可夫博弈中可收敛至纳什分布。
• 开发一种经验策略优化（EPO）算法，使用神经网络表示策略，并通过端到端的强化学习在完整的历史经验上训练参数。
• 以分布式方式实现EPO算法，每个玩家仅基于自身观测行动，无需协调或了解其他玩家的策略。
• 采用回放缓冲区存储并利用历史经验，使策略更新能够避免遗忘过往有效的策略。
• 使用舒尔分解（Schur decomposition）对策略群体进行二维可视化，以分析收敛模式与策略演化过程。

实验结果

研究问题

• RQ1 在非平稳环境中，n人马尔可夫博弈中的策略优化方案是否仍能收敛至纳什均衡？
• RQ2 与在线策略或自博弈方法相比，聚合历史表现如何提升收敛性？
• RQ3 所提出的连续时间学习动态在一般n人博弈中具有何种理论收敛保证？
• RQ4 在小规模与大规模博弈中，EPO算法相较于PPO、NFSP与PSRO等基线方法表现如何？
• RQ5 保持完整历史经验在多大程度上可防止策略遗忘并提升均衡收敛性？

主要发现

• 所提出的连续时间学习动态（CTLD）通过李雅普诺夫稳定性与不动点分析，可证明在多种n人马尔可夫博弈中收敛至纳什分布。
• 经验策略优化（EPO）在收敛速度与均衡质量方面优于PPO、自博弈、NFSP与PSRO，其相对性能曲线在训练初期即低于基线，且持续领先。
• 采用完整历史回放的EPO实现单调或传递性策略改进，而受限回放则导致循环行为与策略遗忘，该现象通过舒尔分解可视化得以验证。
• 在Wimblepong环境中，EPO在ε = 0.1时表现优于基线方法，证明其在大规模游戏中的可扩展性与有效性。
• 消融实验确认，完整历史经验对稳定收敛至关重要，受限回放会导致不稳定与次优策略演化。
• EPO的分布式特性仅依赖本地观测且无需了解其他玩家策略，使其在协调有限的实际应用中更具实用性。