[论文解读] Asynchronous Actor-Critic for Multi-Agent Reinforcement Learning

Yuchen Xiao, Weihao Tan+1 more|arXiv (Cornell University)|Sep 20, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出了一种用于多智能体强化学习的异步演员-评论家方法，使智能体能够学习并执行具有时间扩展性的（宏观）动作，从而克服了同步策略梯度方法的局限性。该工作提出了 Mac-IAC、Mac-CAC 和 Mac-IAICC，分别适用于去中心化、集中式和 CTDE（集中训练、去中心化执行）范式，在仓库任务的仿真环境和真实机器人部署中均表现出优越性能。

ABSTRACT

Synchronizing decisions across multiple agents in realistic settings is problematic since it requires agents to wait for other agents to terminate and communicate about termination reliably. Ideally, agents should learn and execute asynchronously instead. Such asynchronous methods also allow temporally extended actions that can take different amounts of time based on the situation and action executed. Unfortunately, current policy gradient methods are not applicable in asynchronous settings, as they assume that agents synchronously reason about action selection at every time step. To allow asynchronous learning and decision-making, we formulate a set of asynchronous multi-agent actor-critic methods that allow agents to directly optimize asynchronous policies in three standard training paradigms: decentralized learning, centralized learning, and centralized training for decentralized execution. Empirical results (in simulation and hardware) in a variety of realistic domains demonstrate the superiority of our approaches in large multi-agent problems and validate the effectiveness of our algorithms for learning high-quality and asynchronous solutions.

研究动机与目标

• 解决大规模多智能体系统中因智能体动作持续时间不同而导致的决策同步挑战。
• 通过宏观动作实现异步策略的有效学习与执行，这些动作在现实世界机器人任务中普遍存在（例如导航、操作）。
• 克服现有策略梯度方法的局限性，后者假设每个时间步都同步执行基本动作。
• 为基于宏观动作的多智能体演员-评论家学习建立一个通用框架，覆盖去中心化、集中式和 CTDE 训练范式。
• 在仿真和真实世界硬件部署中，证明所提方法在复杂、时间扩展性任务中的有效性。

提出的方法

• 提出一种基于宏观动作的独立演员-评论家方法（Mac-IAC），用于完全去中心化的学习，每个智能体独立学习自身策略。
• 引入一种集中式演员-评论家方法（Mac-CAC），在训练期间使用完整的状态信息以优化个体策略。
• 开发一种新型的独立演员-个体集中式评论家方法（Mac-IAICC），利用集中信息为每个智能体学习独立的评论家，以解决异步执行中联合与个体视角之间的不匹配问题。
• 制定 Mac-IAICC 的 CTDE（集中训练、去中心化执行）变体，通过集中式价值估计实现更优的策略学习。
• 在一种简单方法中使用联合宏观动作价值函数作为评论家（Naive IACC），随后通过引入个体评论家进行改进，以更好地反映异步执行的动力学特性。
• 利用宏观动作去中心化部分可观察马尔可夫决策过程（MacDec-POMDP）框架，对具有可变持续时间动作的合作式多智能体任务进行建模。

实验结果

研究问题

• RQ1 基于宏观动作的演员-评论家方法是否能在具有可变动作持续时间的合作式多智能体环境中有效学习异步策略？
• RQ2 与联合评论家（Naive IACC）相比，使用个体集中式评论家（Mac-IAICC）在处理宏观动作执行的非平稳性和异步性方面表现如何？
• RQ3 所提方法在大规模、时间扩展性多智能体任务中相较于基于基本动作的方法，性能提升程度如何？
• RQ4 所学的去中心化策略是否能泛化到真实世界硬件部署，特别是在复杂的机器人任务中？
• RQ5 在使用个体评论家的 CTDE 范式中（Mac-IAICC），其去中心化策略性能是否优于独立学习或简单集中式训练？

主要发现

• Mac-IAICC 方法在学习高质量去中心化策略方面，显著优于 Naive IACC 和 Mac-IAC，适用于异步多智能体任务。
• 所提方法在仿真环境中成功学习并执行具有时间扩展性动作的策略，涵盖方块推动、Overcooked 变体以及大规模仓库服务领域。
• 在真实机器人部署中，Mac-IAICC 策略在仓库工具递送任务中实现了高效且可靠的任务完成，证明了其在现实世界中的适用性。
• 基于基本动作的方法在相同异步环境中无法学习到有效策略，凸显了宏观动作建模的必要性。
• 与基线方法相比，Mac-IAICC 方法在样本效率和最终任务性能方面表现更优，尤其在长时程、可变持续时间动作的场景中。
• 在 Mac-IAICC 中使用个体集中式评论家，有效缓解了因异步联合动作执行导致的分布偏移问题，提升了策略学习的稳定性和性能。