[论文解读] A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning

Dong Ki Kim, Miao Liu+7 more|arXiv (Cornell University)|Oct 31, 2020

Reinforcement Learning in Robotics参考文献 40被引用 12

一句话总结

本文提出 Meta-MAPG，一种用于多智能体强化学习的新颖策略梯度算法，通过显式建模环境中所有智能体的非平稳学习动态。通过将元优化扩展以考虑相互策略更新，Meta-MAPG 实现了在合作、竞争和混合激励环境中的更快、更稳定的适应能力，相较于先前方法在样本效率和泛化能力方面表现更优。

ABSTRACT

A fundamental challenge in multiagent reinforcement learning is to learn beneficial behaviors in a shared environment with other simultaneously learning agents. In particular, each agent perceives the environment as effectively non-stationary due to the changing policies of other agents. Moreover, each agent is itself constantly learning, leading to natural non-stationarity in the distribution of experiences encountered. In this paper, we propose a novel meta-multiagent policy gradient theorem that directly accounts for the non-stationary policy dynamics inherent to multiagent learning settings. This is achieved by modeling our gradient updates to consider both an agent's own non-stationary policy dynamics and the non-stationary policy dynamics of other agents in the environment. We show that our theoretically grounded approach provides a general solution to the multiagent learning problem, which inherently comprises all key aspects of previous state of the art approaches on this topic. We test our method on a diverse suite of multiagent benchmarks and demonstrate a more efficient ability to adapt to new agents as they learn than baseline methods across the full spectrum of mixed incentive, competitive, and cooperative domains.

研究动机与目标

• 为解决多智能体强化学习中的根本性挑战——即由于相互学习导致智能体策略动态变化的非平稳性。
• 开发一种元学习框架，在元优化过程中显式建模其他智能体的学习过程，而非将其视为固定的外部因素。
• 通过将相互影响整合到单一、合理的梯度更新规则中，统一并为先前方法（如 Meta-PG 和 LOLA）提供理论基础。
• 通过使智能体能够快速适应正在学习的新智能体，提升多智能体设置下的样本效率和泛化能力。

提出的方法

• 推导出一种新的元多智能体策略梯度定理（Meta-MAPG），联合优化智能体自身策略动态与其他智能体的非平稳策略动态。
• 通过将所有智能体建模为具有相互依赖策略更新的马尔可夫学习者，将元策略梯度框架（Meta-PG）扩展至多智能体设置。
• 在元梯度中引入校正项，以反映该智能体行为对其他智能体学习轨迹的影响，灵感源自 Foerster 等人（2018a）。
• 采用两阶段优化：内层循环基于经验进行策略更新，外层循环进行元梯度更新，同时考虑对其他智能体未来策略的影响。
• 采用基于轨迹的演员-critic架构，结合广义优势估计（GAE）和策略更新链上的经验回放。
• 在多种基准测试中应用该方法，包括重复囚徒困境（IPD）、石头剪刀布（RPS），以及具有不同队友熟练度水平的多智能体 MuJoCo 环境。

实验结果

研究问题

• RQ1 在多智能体强化学习中，元学习框架是否能有效在元优化过程中建模其他智能体的非平稳学习动态？
• RQ2 与将其他智能体视为静态情况相比，显式建模相互策略影响如何提升适应速度和稳定性？
• RQ3 Meta-MAPG 在处理多样化多智能体环境方面，如何统一或超越先前方法（如 Meta-PG 和 LOLA-DiCE）？
• RQ4 在元梯度中引入相互影响是否能提升测试新型智能体（具备不同熟练度水平）时的泛化能力？
• RQ5 Meta-MAPG 在涵盖合作、竞争和混合激励的完整多智能体任务谱系中表现如何？

主要发现

• Meta-MAPG 在所有测试环境（包括 IPD、RPS 和 2D HalfCheetah）中均优于 Meta-PG、LOLA-DiCE 和 REINFORCE，展现出更优的适应性能。
• 在 2D HalfCheetah 环境中，当测试对象为在 475 和 500 次迭代后训练的队友（这些情况未在元训练中出现）时，Meta-MAPG 展现出更快的收敛速度和更优的泛化能力。
• 由于元梯度中包含了相互影响，该方法成功缓解了当独立对手学习假设失效时 Meta-PG 所出现的发散问题。
• 实证结果表明，即使其他智能体正在积极学习，Meta-MAPG 仍能保持稳定的策略动态，这在 IPD 和 RPS 中的持续动作概率轨迹中得到验证。
• 该算法能有效泛化至未见过的对手熟练度水平，表明其对对手策略分布偏移具有鲁棒性。
• Meta-MAPG 在样本效率方面优于所有基线方法，与新智能体适应所需交互次数更少，尤其在复杂、非平稳环境中表现更优。