[论文解读] Breaking the Curse of Many Agents: Provable Mean Embedding Q-Iteration for Mean-Field Reinforcement Learning

Lingxiao Wang, Zhuoran Yang+1 more|arXiv (Cornell University)|Jun 21, 2020

Evolutionary Algorithms and Applications被引用 6

一句话总结

该论文提出MF-FQI，一种无需模型的平均场强化学习算法，利用核均值嵌入方法在连续平均场状态上近似值函数。该工作建立了非渐近收敛速率，证明MF-FQI通过与观测到的智能体数量呈线性关系，打破了多智能体的“维度灾难”，并在统计精度上受益于“多智能体的福气”效应。

ABSTRACT

Multi-agent reinforcement learning (MARL) achieves significant empirical successes. However, MARL suffers from the curse of many agents. In this paper, we exploit the symmetry of agents in MARL. In the most generic form, we study a mean-field MARL problem. Such a mean-field MARL is defined on mean-field states, which are distributions that are supported on continuous space. Based on the mean embedding of the distributions, we propose MF-FQI algorithm that solves the mean-field MARL and establishes a non-asymptotic analysis for MF-FQI algorithm. We highlight that MF-FQI algorithm enjoys a "blessing of many agents" property in the sense that a larger number of observed agents improves the performance of MF-FQI algorithm.

研究动机与目标

• 解决由于‘多智能体维度灾难’导致的多智能体强化学习（MARL）中高维状态-动作空间的挑战。
• 为具有连续智能体状态空间的平均场MARL开发一种无模型算法，其中值函数是无限维分布上的泛函。
• 为所提出的算法建立非渐近的计算与统计收敛速率。
• 通过在再生核希尔伯特空间（RKHS）中使用核均值嵌入，利用同质智能体系统的对称性与可交换性。
• 证明增加观测智能体数量可提升统计精度，从而揭示‘多智能体的福气’效应。

提出的方法

• 将平均场状态表示为连续状态空间S上的概率分布，并使用核均值嵌入将其映射到再生核希尔伯特空间（RKHS）。
• 利用平均场状态的均值嵌入，在RKHS中将Q函数近似为非线性泛函。
• 提出MF-FQI算法，一种拟合Q-iteration的变体，通过批量转移数据与基于核的函数逼近，迭代优化Q函数估计。
• 在RKHS中使用正则化最小二乘估计器学习Q函数，引入谱正则化项以控制泛化误差。
• 通过浓度不等式与核稳定性假设，界定经验算子与真实算子之间的差异，从而实现收敛性证明。
• 利用平均场转移算子的结构与核的正则性，推导出以批量大小与观测智能体数量为变量的非渐近误差界。

实验结果

研究问题

• RQ1 能否设计一种无模型的平均场MARL算法，使其在连续智能体状态与无限维平均场状态存在的情况下，可证明收敛于最优值函数？
• RQ2 尽管平均场状态具有无限维性质，算法的统计精度是否随观测智能体数量的增加而提升？
• RQ3 在平均场MARL中，学习的计算复杂度是否可随观测智能体数量线性增长，从而打破‘多智能体维度灾难’？
• RQ4 能否使用核方法在平均场MARL中实现值函数逼近的非渐近收敛速率？
• RQ5 批量大小与观测智能体数量之间的相互作用如何影响算法的泛化误差与收敛速率？

主要发现

• MF-FQI在迭代次数上实现线性收敛速率，收敛速率取决于核的谱性质与正则化参数。
• 该算法的计算复杂度与观测智能体数量呈线性关系，有效打破了多智能体的‘维度灾难’。
• 统计精度随观测智能体数量增加而提升，确立了‘多智能体的福气’效应，即更大的样本量可降低估计误差。
• 在正则性假设下，泛化误差以与(N)^{-h/2}成比例的速率衰减，其中N为观测智能体数量，h为核的光滑性参数。
• 通过浓度不等式，以高概率界定了经验算子向真实算子的收敛性，其依赖于核均值嵌入的稳定性。
• 该算法实现了非渐近误差界，其依赖于批量大小与观测智能体数量，且显式依赖于核的光滑性与算子的谱衰减特性。