[论文解读] Multi-Agent Reinforcement Learning: A Report on Challenges and Approaches

Sanyam Kapoor|arXiv (Cornell University)|Jul 25, 2018

Reinforcement Learning in Robotics参考文献 19被引用 29

一句话总结

本文对多智能体强化学习（MARL）中的挑战进行了全面分析，重点关注混合合作-竞争环境中的非平稳性、信用分配和部分可观测性问题。文章倡导采用去中心化策略、集中式评论家（DAC）框架——即使用集中式价值函数与去中心化策略——并通过Pommerman等环境中的COMA和QMIX架构证明了其有效性，实现了稳健的多智能体协调与更高的样本效率。

ABSTRACT

Reinforcement Learning (RL) is a learning paradigm concerned with learning to control a system so as to maximize an objective over the long term. This approach to learning has received immense interest in recent times and success manifests itself in the form of human-level performance on games like extit{Go}. While RL is emerging as a practical component in real-life systems, most successes have been in Single Agent domains. This report will instead specifically focus on challenges that are unique to Multi-Agent Systems interacting in mixed cooperative and competitive environments. The report concludes with advances in the paradigm of training Multi-Agent Systems called extit{Decentralized Actor, Centralized Critic}, based on an extension of MDPs called extit{Decentralized Partially Observable MDP}s, which has seen a renewed interest lately.

研究动机与目标

• 识别并分析多智能体强化学习中特有的核心挑战，如非平稳性、信用分配和部分可观测性。
• 评估集中式训练与去中心化执行在缓解MARL不稳定性与信用分配问题方面的有效性。
• 证明去中心化策略、集中式评论家（DAC）范式在复杂、部分可观测环境中的实际可行性。
• 探索DAC方法在现实世界多智能体环境（如2v2团队制游戏Pommerman）中的应用。

提出的方法

• 采用去中心化部分可观测马尔可夫决策过程（Dec-POMDP）框架，建模智能体仅能观测部分信息的环境。
• 使用集中式评论家估计联合动作值，通过优势函数实现反事实基线估计以用于策略梯度：$ A^a(s,\mathbf{u}) = Q(s,\mathbf{u}) - \sum_{u^{\prime a}} \pi^a(u^{\prime a}|\tau^a) Q(s, (\mathbf{u}^{-a}, u^{\prime a})) $。
• 应用QMIX架构，通过使用绝对加权输出的混合网络强制价值函数分解的单调性，以保持全局最优性。
• 引入使用确定性策略梯度和集成策略的训练范式，以提升对对手行为变化的鲁棒性。
• 采用门控循环网络建模隐藏状态，以应对多智能体环境的非马尔可夫特性。
• 在训练期间使用集中式价值估计，推理期间实现去中心化执行，端到端训练智能体，采用标准的演员-评论家与Q-learning框架。

实验结果

研究问题

• RQ1 在具有稀疏奖励的合作-竞争多智能体环境中，如何有效管理信用分配？
• RQ2 在部分可观测的多智能体设置中，集中式评论家在多大程度上能提升学习稳定性和性能？
• RQ3 价值函数分解中的单调性约束是否能在保持全局最优性的同时，实现可扩展的多智能体学习？
• RQ4 与完全去中心化的方案相比，DAC框架在样本效率和策略收敛性方面表现如何？
• RQ5 DAC范式能否泛化到Pommerman这类复杂现实环境，其具有多样化队友与对手策略的2v2游戏？

主要发现

• 去中心化策略、集中式评论家（DAC）框架显著提升了混合合作-竞争MARL环境中的训练稳定性和性能。
• QMIX通过在价值函数分解中强制单调性，保持了全局最优性，并在联合动作值估计方面优于独立Q-learning。
• COMA中采用的反事实基线估计方法，通过在联合策略背景下评估单个智能体行为的影响，实现了准确的信用分配。
• Pommerman中的实验表明，使用DAC训练的智能体能够实现稳健的协调，并可泛化到新队友，显示出强大的策略迁移能力。
• 引入竞争性自我对弈和预训练智能体可提升样本效率与性能，优于从随机初始化开始训练。
• 该框架对由对手策略变化引起的非平稳性表现出强韧性，尤其在结合策略集成时更为显著。