[论文解读] R-MADDPG for Partially Observable Environments and Limited Communication

Rose E. Wang, Michael Everett+1 more|arXiv (Cornell University)|Feb 16, 2020

Reinforcement Learning in Robotics参考文献 25被引用 64

一句话总结

引入 R-MADDPG，一种在部分可观测性和有限通信下用于协调的重复多智能体 actor-critic 框架，展示了循环 critic 对在现实世界类似的 MARL 任务中学习至关重要。

ABSTRACT

There are several real-world tasks that would benefit from applying multiagent reinforcement learning (MARL) algorithms, including the coordination among self-driving cars. The real world has challenging conditions for multiagent learning systems, such as its partial observable and nonstationary nature. Moreover, if agents must share a limited resource (e.g. network bandwidth) they must all learn how to coordinate resource use. This paper introduces a deep recurrent multiagent actor-critic framework (R-MADDPG) for handling multiagent coordination under partial observable set-tings and limited communication. We investigate recurrency effects on performance and communication use of a team of agents. We demonstrate that the resulting framework learns time dependencies for sharing missing observations, handling resource limitations, and developing different communication patterns among agents.

研究动机与目标

• 在真实世界的 MARL 设置中解决部分可观测性、非平稳性以及有限的代理间通信。
• 开发一个重复的多智能体 actor-critic 模型，使运动与通信策略能够联合学习。
• 证明循环 critic 在部分可观测性和通信约束下学习的重要性。
• 提供 R-MADDPG 的开源实现，便于复现和扩展。

提出的方法

• 将 MADDPG 扩展为用于多智能体协调的全循环 actor-critic 架构。
• 并行学习两条策略：一条用于物理导航，另一条用于通信。
• 使用三种循环模型变体来研究循环在 actor 和 critic 中的作用。
• 采用集中式 critic 进行训练，包含所有代理的观测与动作，以缓解非平稳性。
• 在部分可观测性和有限通信预算下进行评估，以分析性能和新兴的通信模式。
• 在所引用的 GitHub 存储库提供开源实现。

实验结果

研究问题

• RQ1 循环架构是否能够在部分可观测性和有限通信下实现有效协调？
• RQ2 在部分可观测的 MARL 设置中，循环 critic 是否是学习的关键，与仅使用循环 actor 相比有何差异？
• RQ3 通信预算如何影响协调性能和新兴策略？
• RQ4 在带宽受限时，出现的通信与协调模式是什么？

主要发现

• 完全循环的 actor-critic 模型在部分可观测性和通信限制下实现了学习。
• 循环 critic 是在部分可观测的多智能体环境中实现学习的关键组成部分；单独的循环 actor 不足以实现。
• MADDPG 在部分可观测性和有限通信下表现不佳，突显了 critic 需要循环的必要性。
• 增加通信预算可提升性能并降低奖励方差，表明带宽与协调质量之间存在权衡。
• R-MADDPG 在不同通信预算下实现了到达目标的协同，出现的新兴模式包括在有限信息下等待或移动以同步到达。