[论文解读] Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning

Saurabh Kumar, Pararth Shah+2 more|arXiv (Cornell University)|Dec 22, 2017

Reinforcement Learning in Robotics参考文献 9被引用 22

一句话总结

该论文提出联邦控制强化学习（FCRL），一种分层多智能体深度强化学习框架，通过元控制器引导去中心化智能体之间的成对通信，降低协调复杂度。与标准多智能体强化学习（MARL）和分层强化学习（HRL）基线相比，FCRL在多智能体调度任务中展现出更优的可扩展性和性能，尤其在智能体数量增加时优势显著。

ABSTRACT

We present a framework combining hierarchical and multi-agent deep reinforcement learning approaches to solve coordination problems among a multitude of agents using a semi-decentralized model. The framework extends the multi-agent learning setup by introducing a meta-controller that guides the communication between agent pairs, enabling agents to focus on communicating with only one other agent at any step. This hierarchical decomposition of the task allows for efficient exploration to learn policies that identify globally optimal solutions even as the number of collaborating agents increases. We show promising initial experimental results on a simulated distributed scheduling problem.

研究动机与目标

• 为解决多智能体强化学习（MARL）在大规模协调问题中的可扩展性局限。
• 通过引入半去中心化的分层结构，降低多智能体系统中的通信与探索复杂度。
• 通过元控制器引导的成对智能体协商，实现全局一致策略的高效学习。
• 在多任务对话和城市交通控制等现实应用中，支持隐私保护的协调。
• 在模拟的多智能体调度任务中，展示相较于标准MARL和分层强化学习（HRL）基线的性能与可扩展性提升。

提出的方法

• 该框架在较慢的时间尺度上运行元控制器，用于选择成对控制器及约束，以支持成对协商。
• 每个控制器在部分可观测环境下独立运作，通过自我博弈和内在奖励优化其私有价值函数。
• 控制器根据联合动作的有效性与顺序性（例如，有效且有序的调度动作）获得内在奖励，从而实现高效策略训练。
• 元控制器通过策略梯度进行训练，以最大化来自环境的累积外在奖励，使用经验回放缓冲区和Q网络。
• 约束机制确保子任务互不重叠，支持独立求解，从而减轻全局协调负担。
• 系统采用共享经验回放缓冲区，并对控制器在随机约束上进行预训练，以加速收敛。

实验结果

研究问题

• RQ1 与标准MARL和HRL相比，分层多智能体强化学习框架是否能提升多智能体协调问题的可扩展性？
• RQ2 元控制器引导的成对通信在多大程度上降低了全局策略学习的复杂度？
• RQ3 随着智能体数量的增加，该框架的性能保持程度如何？
• RQ4 该框架是否能在多任务对话或交通控制等现实应用中支持隐私保护的协调？
• RQ5 内在奖励与基于约束的子任务分解在多大程度上提升了学习效率与收敛性？

主要发现

• 当 m=2 时，所有方法（FCRL、MARL、HRL）均达到最优性能，验证了基线的可行性。
• 当 m=4 时，FCRL优于MARL与HRL，展现出更优的可扩展性与协调效率。
• 当 m=6 时，HRL与MARL因过度探索而无法获得正向奖励，而FCRL仍保持正向学习进展。
• FCRL的性能优势源于其将问题分解为不相交子任务，并通过约束引导通信的能力。
• 元控制器学会复杂策略，例如从较小的约束窗口开始，仅在必要时才扩展，以避免过早做出次优承诺。
• 内在奖励与自我博弈的结合使控制器能够高效训练，而元控制器则专注于高层协调。