[论文解读] Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning

Barna Pásztor, Ilija Bogunovic+1 more|arXiv (Cornell University)|Jul 8, 2021

Gaussian Processes and Bayesian Inference参考文献 69被引用 6

一句话总结

本文提出 M3-UCRL，一种基于模型的多智能体平均场强化学习算法，可高效平衡未知连续状态、连续动作系统中大规模同质智能体的探索与利用。该算法通过新颖的平均场分析实现可证明的低遗憾，并在群体运动与拥堵感知导航任务中表现出接近最优的性能，即使动力学从真实交互中学习而无需仿真器。

ABSTRACT

Learning in multi-agent systems is highly challenging due to several factors including the non-stationarity introduced by agents' interactions and the combinatorial nature of their state and action spaces. In particular, we consider the Mean-Field Control (MFC) problem which assumes an asymptotically infinite population of identical agents that aim to collaboratively maximize the collective reward. In many cases, solutions of an MFC problem are good approximations for large systems, hence, efficient learning for MFC is valuable for the analogous discrete agent setting with many agents. Specifically, we focus on the case of unknown system dynamics where the goal is to simultaneously optimize for the rewards and learn from experience. We propose an efficient model-based reinforcement learning algorithm, $M^3-UCRL$, that runs in episodes, balances between exploration and exploitation during policy learning, and provably solves this problem. Our main theoretical contributions are the first general regret bounds for model-based reinforcement learning for MFC, obtained via a novel mean-field type analysis. To learn the system's dynamics, $M^3-UCRL$ can be instantiated with various statistical models, e.g., neural networks or Gaussian Processes. Moreover, we provide a practical parametrization of the core optimization problem that facilitates gradient-based optimization techniques when combined with differentiable dynamics approximation methods such as neural networks.

研究动机与目标

• 解决由于大规模交互智能体群体导致的多智能体强化学习中的非平稳性与可扩展性挑战。
• 为未知系统动力学的平均场控制（MFC）问题，开发一种样本高效的基于模型的强化学习算法。
• 通过真实世界交互实现在线策略学习，避免依赖仿真器或已知动力学。
• 通过基于平均场类型的理论分析，为基于模型的 MFC 提供新颖的遗憾界理论保证。
• 设计一种实用且可微分的框架，兼容深度学习模型（如神经网络）以近似动力学。

提出的方法

• 提出 M3-UCRL，一种基于回合的基于模型强化学习算法，利用置信上界平衡探索与利用。
• 采用平均场近似，基于智能体状态分布而非单个智能体来建模系统动力学与奖励。
• 使用统计模型（如神经网络或高斯过程）从在线交互数据中学习未知系统动力学。
• 对核心优化问题采用可微分参数化，以支持基于梯度的策略学习，兼容神经网络动力学模型。
• 通过基于平均场类型的理论分析，推导出基于模型 MFC 的新颖遗憾界，且不依赖智能体数量。
• 通过在学习到的动力学上使用置信区间实现乐观探索，确保高效探索与收敛。

实验结果

研究问题

• RQ1 基于模型的强化学习算法是否能在未知动力学的多智能体平均场控制中实现可证明的低遗憾？
• RQ2 在具有连续状态与动作空间的大规模多智能体系统中，如何有效平衡探索与利用？
• RQ3 从真实交互中训练的动力学模型，在多大程度上能实现 MFC 问题中接近最优策略的收敛？
• RQ4 在不同初始平均场分布以及动态复杂性（如拥堵效应）下，该算法表现如何？
• RQ5 与连续时间解析解相比，时间离散化对所学策略最优性有何影响？

主要发现

• 在标准与拥堵感知群体运动任务中，M3-UCRL 均在少量回合内收敛至接近最优策略。
• 该算法实现的回合奖励接近在已知真实动力学时的基准性能，且性能波动极小。
• 即使在仅 16 个时间步后，M3-UCRL 所诱导的平均场分布也与在已知动力学下的最优分布高度匹配，尤其在拥堵感知场景中。
• M3-UCRL 对不同初始平均场分布（如均匀分布与正态分布）表现出鲁棒性，能迅速将系统引导至稳定且高奖励状态。
• M3-UCRL 所学习的策略与在已知动力学下找到的策略几乎完全一致，证实其有效学习并利用复杂动力学的能力。
• 尽管存在与连续时间最优解的时间离散化偏差，该算法仍保持强劲性能，表明其对建模近似具有鲁棒性。