[论文解读] Mean-Field Controls with Q-learning for Cooperative MARL: Convergence and Complexity Analysis

Haotian Gu, Xin Guo+2 more|arXiv (Cornell University)|Feb 10, 2020

Traffic control and management被引用 14

一句话总结

本文提出 MFC-K-Q，一种基于核函数的无模型 Q-learning 算法，用于合作型多智能体强化学习（MARL），采用平均场控制（MFC）近似。该方法建立了与智能体数量 N 无关的线性收敛速度和样本复杂度，对 N 个智能体 MARL 问题的近似误差为 O(1/√N)，并通过实证验证表明，当 N > 50 时，其性能优于现有 MARL 方法。

ABSTRACT

Multi-agent reinforcement learning (MARL), despite its popularity and empirical success, suffers from the curse of dimensionality. This paper builds the mathematical framework to approximate cooperative MARL by a mean-field control (MFC) approach, and shows that the approximation error is of $\mathcal{O}(\frac{1}{\sqrt{N}})$. By establishing an appropriate form of the dynamic programming principle for both the value function and the Q function, it proposes a model-free kernel-based Q-learning algorithm (MFC-K-Q), which is shown to have a linear convergence rate for the MFC problem, the first of its kind in the MARL literature. It further establishes that the convergence rate and the sample complexity of MFC-K-Q are independent of the number of agents $N$, which provides an $\mathcal{O}(\frac{1}{\sqrt{N}})$ approximation to the MARL problem with $N$ agents in the learning environment. Empirical studies for the network traffic congestion problem demonstrate that MFC-K-Q outperforms existing MARL algorithms when $N$ is large, for instance when $N>50$.

研究动机与目标

• 为解决合作型多智能体强化学习（MARL）中的维度灾难问题，该问题导致样本复杂度随智能体数量 N 呈指数级增长。
• 建立一个基于平均场控制（MFC）的数学框架，用于近似合作型 MARL，从而实现在大规模智能体系统中的可扩展学习。
• 设计一种无模型、基于核函数的 Q-learning 算法（MFC-K-Q），实现对 N 的线性收敛速度和独立于 N 的样本复杂度。
• 证明 MFC 解与 N 个智能体 MARL 问题之间的近似误差为 O(1/√N)，验证该方法的可扩展性。
• 通过实证表明，MFC-K-Q 在大规模环境中的性能优于现有 MARL 算法，尤其在 N > 50 时表现更优，例如在网络流量拥塞场景中。

提出的方法

• 提升状态-动作空间，并聚合奖励与动态信息，以定义确定性的平均场控制问题，从而可在概率测度上应用动态规划原理（DPP）。
• 提出基于核回归的 Q 函数与贝尔曼算子近似方法，利用提升后状态-动作空间上的 ε-网来降低维度。
• 在采样数据上应用固定点迭代，学习率设为 η = 1，利用提升后 MFC 动态的确定性特性，简化收敛性分析。
• 利用底层动态的正则性特性，控制状态空间与动作空间中的近似误差，确保稳定性与收敛性。
• 在 ∞-范数下建立收敛性，并在混合性假设下将结果扩展至 Lp-范数，从而支持使用神经网络进行函数逼近。
• 采用一种新颖的提升技术，使学习率选择变得简单，并相较于基于随机动态的方法，显著降低样本复杂度。

实验结果

研究问题

• RQ1 随着智能体数量 N 增加，平均场控制能否为合作型 MARL 提供一种可扩展的近似方法，并具备可证明的误差界？
• RQ2 基于核回归的无模型 Q-learning 算法在平均场控制设定下，能否实现线性收敛速度和与 N 无关的样本复杂度？
• RQ3 平均场控制解与真实 N 个智能体 MARL 问题之间的近似误差是多少？其随 N 的变化趋势如何？
• RQ4 在大规模环境中，所提出的 MFC-K-Q 算法相较于现有 MARL 算法，在性能和样本效率方面表现如何？
• RQ5 对状态-动作空间的提升技术能否实现确定性动态，从而简化 MFC 中的收敛性分析并降低样本复杂度？

主要发现

• 平均场控制解与 N 个智能体 MARL 问题之间的近似误差为 O(1/√N)，为方法的可扩展性提供了理论保证。
• MFC-K-Q 算法在平均场控制问题上实现了线性收敛速度，这是 MARL 领域中的首次成果。
• MFC-K-Q 的样本复杂度与智能体数量 N 无关，仅依赖于状态-动作空间的大小，而不随 N 增大而增长。
• 在网络流量拥塞场景的实证结果表明，当 N > 50 时，MFC-K-Q 的性能优于现有 MARL 算法，证实其在大规模设置下的实际优势。
• 只要满足关于混合行为的关键引理，收敛性与样本复杂度结果在多种探索策略（包括高斯探索与玻尔兹曼探索）下均成立。
• 通过控制利普希茨常数，可进一步提升算法性能，增强神经网络近似中的泛化能力。