[论文解读] Dealing With Non-stationarity in Decentralized Cooperative Multi-Agent Deep Reinforcement Learning via Multi-Timescale Learning

Hadi Nekoei, Akilesh Badrinaaraayanan+5 more|arXiv (Cornell University)|Feb 6, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种用于去中心化合作多智能体强化学习（MARL）的多时间尺度学习算法，以解决因并行策略更新导致的非平稳性问题。通过允许智能体以不同速率同时学习——主智能体更新较快，其他智能体更新较慢——该方法在加速训练的同时减少了策略漂移，在ePymarl基准测试中优于当前最先进的去中心化MARL方法。

ABSTRACT

Decentralized cooperative multi-agent deep reinforcement learning (MARL) can be a versatile learning framework, particularly in scenarios where centralized training is either not possible or not practical. One of the critical challenges in decentralized deep MARL is the non-stationarity of the learning environment when multiple agents are learning concurrently. A commonly used and efficient scheme for decentralized MARL is independent learning in which agents concurrently update their policies independently of each other. We first show that independent learning does not always converge, while sequential learning where agents update their policies one after another in a sequence is guaranteed to converge to an agent-by-agent optimal solution. In sequential learning, when one agent updates its policy, all other agent's policies are kept fixed, alleviating the challenge of non-stationarity due to simultaneous updates in other agents' policies. However, it can be slow because only one agent is learning at any time. Therefore it might also not always be practical. In this work, we propose a decentralized cooperative MARL algorithm based on multi-timescale learning. In multi-timescale learning, all agents learn simultaneously, but at different learning rates. In our proposed method, when one agent updates its policy, other agents are allowed to update their policies as well, but at a slower rate. This speeds up sequential learning, while also minimizing non-stationarity caused by other agents updating concurrently. Multi-timescale learning outperforms state-of-the-art decentralized learning methods on a set of challenging multi-agent cooperative tasks in the epymarl(Papoudakis et al., 2020) benchmark. This can be seen as a first step towards more general decentralized cooperative deep MARL methods based on multi-timescale learning.

研究动机与目标

• 为解决去中心化合作多智能体强化学习（MARL）中的非平稳性挑战，即并行策略更新导致学习不稳定的问题。
• 克服独立学习的局限性（缺乏收敛保证）以及顺序学习的局限性（因单个智能体更新而速度缓慢）。
• 设计一种去中心化的MARL算法，实现在不牺牲其他智能体策略更新影响的前提下，使智能体能够同时学习。
• 在不依赖集中式训练或协调的前提下，提升合作MARL设置中的训练效率和性能。
• 确立多时间尺度学习作为可扩展、去中心化MARL的一种可行且有效的范式。

提出的方法

• 该方法采用多时间尺度学习框架，其中智能体并行更新策略，但学习速率不同。
• 主智能体使用较快的学习速率，而其他智能体使用较慢的学习速率，以减少其策略变化对主智能体的影响。
• 该设计使收敛速度优于顺序学习，同时通过最小化并行更新带来的非平稳性，保持了稳定性。
• 该算法完全去中心化，训练过程中无需中央协调或共享参数更新。
• 该方法通过独立的深度Q网络（DQN）或策略梯度方法实现，各智能体的学习速率显式调度。
• 该方法在ePymarl基准的合作任务上进行了评估，使用SMAC和Hanabi等标准MARL环境。

实验结果

研究问题

• RQ1 去中心化的MARL算法能否在保持稳定性的同时，比顺序学习实现更快的收敛？
• RQ2 与独立学习相比，多时间尺度学习是否能减少合作MARL中的非平稳性？
• RQ3 在不同速率下并行学习能否优于现有最先进的去中心化MARL方法在合作环境中的表现？
• RQ4 学习速率比的选择如何影响多智能体设置中的学习稳定性和样本效率？
• RQ5 多时间尺度学习是否是一种可扩展且泛化能力强的去中心化合作MARL框架？

主要发现

• 所提出的多时间尺度学习方法在收敛速度上优于仅单个智能体依次更新的顺序学习方法。
• 与所有智能体以相近速率同时更新的独立学习相比，该方法显著减少了非平稳性。
• 在ePymarl基准测试中，该方法在最终回报和训练稳定性方面优于当前最先进的去中心化MARL算法。
• 在SMAC（简化多智能体控制）和Hanabi等复杂合作环境中的性能提升尤为显著。
• 为次级智能体使用较慢的学习速率能有效抑制策略漂移，从而提升整体学习稳定性。
• 实验结果表明，该方法在多样化合作任务中保持了高样本效率和泛化能力。