[论文解读] Multi-Agent Constrained Policy Optimisation

Shangding Gu, Jakub Grudzien Kuba+7 more|arXiv (Cornell University)|Oct 6, 2021

Reinforcement Learning in Robotics参考文献 41被引用 16

一句话总结

本文提出了 MACPO 和 MAPPO-Lagrangian 两种新型无模型多智能体强化学习算法，通过约束策略优化实现安全约束。通过整合信任区域方法与拉格朗日松弛，两种算法在每个训练步骤中均保证奖励的单调性提升和严格的安全约束满足，相较于基线方法在安全性方面表现更优，同时在连续控制基准测试中保持强劲性能。

ABSTRACT

Developing reinforcement learning algorithms that satisfy safety constraints is becoming increasingly important in real-world applications. In multi-agent reinforcement learning (MARL) settings, policy optimisation with safety awareness is particularly challenging because each individual agent has to not only meet its own safety constraints, but also consider those of others so that their joint behaviour can be guaranteed safe. Despite its importance, the problem of safe multi-agent learning has not been rigorously studied; very few solutions have been proposed, nor a sharable testing environment or benchmarks. To fill these gaps, in this work, we formulate the safe MARL problem as a constrained Markov game and solve it with policy optimisation methods. Our solutions -- Multi-Agent Constrained Policy Optimisation (MACPO) and MAPPO-Lagrangian -- leverage the theories from both constrained policy optimisation and multi-agent trust region learning. Crucially, our methods enjoy theoretical guarantees of both monotonic improvement in reward and satisfaction of safety constraints at every iteration. To examine the effectiveness of our methods, we develop the benchmark suite of Safe Multi-Agent MuJoCo that involves a variety of MARL baselines. Experimental results justify that MACPO/MAPPO-Lagrangian can consistently satisfy safety constraints, meanwhile achieving comparable performance to strong baselines.

研究动机与目标

• 为解决多智能体强化学习（MARL）中确保安全性的关键挑战，即智能体必须同时满足个体与联合安全约束。
• 构建一个通用框架，将安全 MARL 形式化为约束马尔可夫博弈，以支持系统性研究与基准测试。
• 设计算法，确保在每个训练迭代中均实现奖励最大化与约束满足，从而保障安全探索。
• 创建首个基准测试套件——Safe Multi-Agent MuJoCo 与 Safe Multi-Agent Robosuite——用于评估连续控制环境中安全 MARL 算法的表现。
• 通过实证验证，所提方法在保持竞争性或更优性能的同时，始终严格满足安全约束。

提出的方法

• 将安全 MARL 形式化为约束马尔可夫博弈，将 CMDP 框架扩展至包含联合安全约束的多智能体设置。
• 提出 MACPO，采用信任区域方法结合回溯线搜索，对策略更新施加硬性约束。
• 提出 MAPPO-Lagrangian，一种软约束方法，通过在拉格朗日目标上执行梯度上升来维持安全意识。
• 采用联合评论家与集中式训练、去中心化执行（CTDE）机制，实现在保持推理阶段去中心化的同时促进协作学习。
• 采用策略梯度方法，并理论保证在每个更新步骤中预期回报与约束满足的单调性提升。
• 实施双重优化机制，交替更新策略与拉格朗日乘子，以平衡奖励与安全目标。

实验结果

研究问题

• RQ1 多智能体策略优化能否被扩展，以确保在训练过程中，即使在探索阶段，安全约束也能被严格满足？
• RQ2 与软约束方法（MAPPO-Lagrangian）相比，硬约束方法（MACPO）在约束满足的稳定性与最终性能方面表现如何？
• RQ3 安全 MARL 算法是否能在保持在安全策略区域的同时，实现与无约束 MARL 基线相当或更优的累积奖励？
• RQ4 现有 MARL 算法（如 MAPPO、IPPO 和 HAPPO）在连续控制环境中在多大程度上无法满足安全约束？
• RQ5 能否设计一个统一的基准测试套件，以公平评估和比较各类安全感知算法在多样化任务中的表现？

主要发现

• MACPO 与 MAPPO-Lagrangian 在所有任务中均实现接近零的成本值，表明在整个训练过程中安全约束被一致且严格地满足。
• 两种算法从训练初始阶段即保持安全探索，即使在初始化为不安全策略时亦然，而 IPPO、MAPPO 与 HAPPO 则频繁违反约束。
• 在具有挑战性的 Ant 基任务中，MAPPO-Lagrangian 的平均累积奖励高于 MACPO，表明其具备更优的样本效率或优化稳定性。
• MAPPO-Lagrangian 在困难的 Ant 任务上的表现优于无约束的 MAPPO，证明安全约束并不必然导致性能下降。
• HAPPO 在所有方法中获得最高奖励，但未能满足安全约束，凸显现有方法在性能与安全之间存在的权衡。
• 所提出的基准测试套件——SMAMuJoCo 与 SMARobosuite——成功捕捉了现实世界中具有安全关键性的多智能体操作任务，例如带障碍物避让的 Peg-in-Hole 任务。