[论文解读] Dealing with Non-Stationarity in MARL via Trust-Region Decomposition

Wenhao Li, Xiangfeng Wang+3 more|arXiv (Cornell University)|Feb 21, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 MAMT，一种基于信任区域的多智能体强化学习算法，通过消息传递网络（TRD-Net）对联合策略约束进行分解，以准确估计联合策略差异，从而缓解合作型多智能体强化学习中的非平稳性问题。通过端到端自适应调整局部信任区域，MAMT 在多种合作任务中实现了稳定且显著的性能提升，在密集奖励环境中的表现优于基线方法最高达 25.04 ± 1.68。

ABSTRACT

Non-stationarity is one thorny issue in cooperative multi-agent reinforcement learning (MARL). One of the reasons is the policy changes of agents during the learning process. Some existing works have discussed various consequences caused by non-stationarity with several kinds of measurement indicators. This makes the objectives or goals of existing algorithms are inevitably inconsistent and disparate. In this paper, we introduce a novel notion, the $δ$-measurement, to explicitly measure the non-stationarity of a policy sequence, which can be further proved to be bounded by the KL-divergence of consecutive joint policies. A straightforward but highly non-trivial way is to control the joint policies' divergence, which is difficult to estimate accurately by imposing the trust-region constraint on the joint policy. Although it has lower computational complexity to decompose the joint policy and impose trust-region constraints on the factorized policies, simple policy factorization like mean-field approximation will lead to more considerable policy divergence, which can be considered as the trust-region decomposition dilemma. We model the joint policy as a pairwise Markov random field and propose a trust-region decomposition network (TRD-Net) based on message passing to estimate the joint policy divergence more accurately. The Multi-Agent Mirror descent policy algorithm with Trust region decomposition, called MAMT, is established by adjusting the trust-region of the local policies adaptively in an end-to-end manner. MAMT can approximately constrain the consecutive joint policies' divergence to satisfy $δ$-stationarity and alleviate the non-stationarity problem. Our method can bring noticeable and stable performance improvement compared with baselines in cooperative tasks of different complexity.

研究动机与目标

• 解决合作型多智能体强化学习（MARL）中的非平稳性挑战，即其他智能体策略的变化导致学习过程不稳定。
• 克服现有信任区域方法的局限性：要么约束联合策略（不可行），要么使用朴素的策略因子分解（导致高差异）。
• 提出一种新型的 $δ$-平稳性度量，显式衡量策略序列的非平稳性，其上界由连续联合策略之间的 KL 散度决定。
• 开发一种可扩展且准确的方法，通过因子化的信任区域约束估计联合策略差异，避免直接进行联合策略优化。
• 建立一个端到端的训练框架，通过自适应调整局部信任区域以维持 $δ$-平稳性，提升样本效率和性能。

提出的方法

• 提出 $δ$-平稳性作为非平稳性的新度量，通过对手切换成本定义，并在理论上由连续联合策略之间的 KL 散度界定。
• 将联合策略建模为成对马尔可夫随机场，以支持结构化消息传递，实现对联合策略差异的准确估计。
• 设计 TRD-Net，一种消息传递神经网络，利用局部策略更新估计连续联合策略之间的 KL 散度。
• 将 TRD-Net 集成到信任区域框架中，为每个智能体的局部策略信任区域计算自适应协调系数。
• 开发 MAMT（带信任区域分解的多智能体镜像下降），一种端到端算法，根据 TRD-Net 的输出调整局部信任区域。
• 采用近端策略优化（PPO）作为基础策略更新规则，通过学习到的协调系数对每个智能体应用信任区域约束。

实验结果

研究问题

• RQ1 如何通过一个有原则的度量，正式衡量并界定 MARL 中的非平稳性？
• RQ2 是否可以通过因子化的局部策略约束，在不进行直接联合优化的情况下，准确估计联合策略差异？
• RQ3 采用自适应协调系数的信任区域分解是否优于固定或随机约束，在维持策略稳定性方面表现更优？
• RQ4 信任区域参数的端到端学习是否能提升合作型 MARL 任务中的样本效率和性能？
• RQ5 在不同复杂度的任务中，所提方法与基线方法相比，在稳定性、收敛速度和最终性能方面表现如何？

主要发现

• MAMT 在全部四个合作任务中均取得最佳性能，在 Rover-Tower 环境中最终回报达到 25.04 ± 1.68，显著优于 MAMT-PPO 和其他消融变体。
• MAMT 所需的训练 episode 数量仅为 MAMT-PPO 的约一半，即可达到相同性能，展现出更优的样本效率。
• 随机化协调系数（MAMT-Random）导致性能严重下降，证实了学习到的、自适应的信任区域控制的必要性。
• 设置固定协调系数（MAMT-Fixed）的性能接近 MAMT，表明 TRD-Net 有效学习到了局部信任区域与联合策略差异之间的最优关系。
• KL 散度的加权和近似方法（MAMT-WS）在复杂任务上表现出高方差和较差性能，凸显了朴素因子化方法的不稳定性。
• KL 散度曲线（图 16–19）显示，MAMT 的联合策略差异显著更低且更稳定，优于 MAAC，证实了策略稳定性的提升。