[论文解读] Macro-Action-Based Deep Multi-Agent Reinforcement Learning

Yuchen Xiao, Joshua Hoffman+1 more|arXiv (Cornell University)|Apr 18, 2020

Reinforcement Learning in Robotics被引用 2

一句话总结

该论文提出两种基于DQN的方法，用于在多智能体强化学习中学习去中心化和中心化的宏观动作价值函数，引入了新颖的宏观动作轨迹回放缓冲区，以实现对高层级、异步行为的高效学习。该方法在基准任务和大规模领域中相较于原始动作方法展现出更优的性能和可扩展性。

ABSTRACT

In real-world multi-robot systems, performing high-quality, collaborative behaviors requires robots to asynchronously reason about high-level action selection at varying time durations. Macro-Action Decentralized Partially Observable Markov Decision Processes (MacDec-POMDPs) provide a general framework for asynchronous decision making under uncertainty in fully cooperative multi-agent tasks. However, multi-agent deep reinforcement learning methods have only been developed for (synchronous) primitive-action problems. This paper proposes two Deep Q-Network (DQN) based methods for learning decentralized and centralized macro-action-value functions with novel macro-action trajectory replay buffers introduced for each case. Evaluations on benchmark problems and a larger domain demonstrate the advantage of learning with macro-actions over primitive-actions and the scalability of our approaches.

研究动机与目标

• 解决在不确定性环境下合作性多智能体系统中异步、高层级决策的挑战。
• 将深度多智能体强化学习从原始动作扩展到宏观动作，以实现更高效和可扩展的学习。
• 使用深度Q网络开发去中心化和中心化的宏观动作价值函数学习方法。
• 引入专门设计的宏观动作轨迹回放缓冲区，以保留多智能体序列中的时间依赖性和层次结构。
• 在基准任务和大规模领域中评估所提出方法，以证明其相对于原始动作基线方法的优越性。

提出的方法

• 论文提出一种宏观动作轨迹回放缓冲区，用于存储高层级动作及其结果的序列，保留跨智能体的时间依赖性。
• 在去中心化学习中，每个智能体独立使用宏观动作回放缓冲区训练基于DQN的宏观动作价值函数。
• 在中心化学习中，一个中心化的评论家网络使用相同的回放缓冲区学习联合宏观动作价值函数，以指导策略优化。
• 宏观动作被定义为时间上延展的高层级行为，使智能体能够对更长的时间跨度进行推理。
• 回放缓冲区设计通过存储完整的宏观动作轨迹，支持离策略学习，从而提高数据效率。
• 该框架适用于离散和连续的宏观动作，增强了任务表示的灵活性。

实验结果

研究问题

• RQ1 与原始动作相比，宏观动作是否能提升合作性多智能体强化学习中的样本效率和性能？
• RQ2 所提出的宏观动作轨迹回放缓冲区在多智能体环境中如何增强学习的稳定性和收敛性？
• RQ3 去中心化和中心化的宏观动作价值学习在多大规模的多智能体领域中具有可扩展性？
• RQ4 使用宏观动作学习是否能产生更连贯、更高质量的协作行为，特别是在复杂任务中？
• RQ5 与基于原始动作的DQN标准方法相比，所提出方法在性能和可扩展性方面表现如何？

主要发现

• 所提出的基于宏观动作的方法在基准问题上的累积回报和任务完成率方面优于原始动作基线方法。
• 使用宏观动作轨迹回放缓冲区可显著加快去中心化和中心化学习设置下的收敛速度，并提升数据效率。
• 中心化宏观动作学习方法在复杂协调任务中表现优于去中心化变体。
• 该方法在更大规模领域中表现出良好的可扩展性，证明了其在具有异步决策需求的真实多机器人系统中的可行性。
• 与原始动作策略相比，使用宏观动作学习可产生更连贯、更具时间结构的行为。
• 该框架使智能体能够学习到高层级、长时序的协调策略，而这些策略使用原始动作方法难以发现。