[论文解读] A Game-Theoretic Approach to Multi-Agent Trust Region Optimization

Ying Wen, Hui Chen+5 more|arXiv (Cornell University)|Jun 12, 2021

Reinforcement Learning in Robotics参考文献 70被引用 4

一句话总结

本文提出 MATRL，一种基于博弈论的多智能体信任区域学习方法，通过引入元博弈分析，稳定了非平稳多智能体环境中的策略优化。通过在经验策略空间元博弈中利用纳什均衡解，MATRL 确保了单调的性能提升和局部收敛，在离散和连续控制任务（包括 MuJoCo 和 Atari 游戏）中优于强基线方法。

ABSTRACT

Trust region methods are widely applied in single-agent reinforcement learning problems due to their monotonic performance-improvement guarantee at every iteration. Nonetheless, when applied in multi-agent settings, the guarantee of trust region methods no longer holds because an agent's payoff is also affected by other agents' adaptive behaviors. To tackle this problem, we conduct a game-theoretical analysis in the policy space, and propose a multi-agent trust region learning method (MATRL), which enables trust region optimization for multi-agent learning. Specifically, MATRL finds a stable improvement direction that is guided by the solution concept of Nash equilibrium at the meta-game level. We derive the monotonic improvement guarantee in multi-agent settings and empirically show the local convergence of MATRL to stable fixed points in the two-player rotational differential game. To test our method, we evaluate MATRL in both discrete and continuous multiplayer general-sum games including checker and switch grid worlds, multi-agent MuJoCo, and Atari games. Results suggest that MATRL significantly outperforms strong multi-agent reinforcement learning baselines.

研究动机与目标

• 为解决由于其他智能体的自适应行为导致的非平稳环境，使得信任区域单调性能提升失效的问题。
• 开发一种信任区域方法，确保在多智能体强化学习中维持性能保证，同时无需集中式评论家或通信机制。
• 通过在策略空间中运用纳什均衡概念的元博弈分析，实现对稳定不动点的收敛。
• 在一般和博弈多智能体环境中提升学习稳定性和样本效率，同时保持独立学习者的简洁性。
• 为现有信任区域算法（如 PPO）提供低开销扩展，避免额外训练或架构修改。

提出的方法

• 利用独立学习者（ILs）的当前策略和预测策略构建经验策略空间元博弈，以建模联合收益动态。
• 使用纳什均衡求解器（如 CMAES）识别元博弈中的稳定策略更新，确保底层博弈的弱稳定性。
• 通过元博弈的纳什均衡聚合当前策略和预测策略，以定义受限的信任区域步长。
• 基于聚合策略执行最优响应更新，以探索稳定方向，提升对策略变化的鲁棒性。
• 将元博弈分析集成到标准信任区域算法（如 PPO）中，而无需修改底层策略或价值网络。
• 保持原始 PPO 损失并增加 KL 和熵正则化，同时引入最优响应学习步骤以优化策略更新。

实验结果

研究问题

• RQ1 在非平稳环境中，信任区域优化能否在多智能体设置中维持单调的性能提升？
• RQ2 在策略空间中引入元博弈纳什均衡是否能实现多智能体强化学习中的稳定且收敛的学习？
• RQ3 对独立学习者的低开销扩展能否实现与集中式或通信型方法相当的性能？
• RQ4 所提出方法在离散和连续控制环境中与 VDN、QMIX、MADDPG 和 COMIX 等强基线相比表现如何？
• RQ5 元博弈纳什均衡是否为底层多智能体博弈的弱稳定不动点？

主要发现

• 在离散网格世界环境（如双人切换和棋盘游戏）中，MATRL 显著优于独立 PPO、VDN、QMIX 和 QDPP。
• 在多智能体 MuJoCo 的连续控制任务中，MATRL 胜过去中心化 PPO、MADDPG 和 COMIX，展现出更优的样本效率和稳定性。
• 在零和 Atari 游戏中，MATRL 超过基线 PPO 和集中式方法（如 COMIX），实现了更高的最终回报和一致的学习曲线。
• 该方法在训练迭代过程中确保了期望回报的单调提升，验证了元博弈分析下的理论保证。
• 在微分博弈动态中，实验观察到向稳定不动点的局部收敛，支持了弱稳定性的理论分析。
• 在元博弈中使用 CMAES 求解纳什均衡，实现了有效且可扩展的信任区域更新，且无需集中式基础设施。