[论文解读] Decentralized Convergence to Nash Equilibria in Constrained Mean Field Control.

Sergio Grammatico, Francesca Parise+2 more|arXiv (Cornell University)|Oct 16, 2014

Distributed Control Multi-Agent Systems参考文献 10被引用 13

一句话总结

本文提出了一种针对大规模异构代理群体在凸约束下进行均场控制的去中心化迭代方法，证明了随着群体规模增大，方法可收敛至纳什均衡。该研究将均场控制理论扩展至约束情形，展示了其在线性二次控制和电动汽车充电问题中的适用性。

ABSTRACT

This paper considers decentralized control and optimization methodologies for large populations of systems, consisting of several agents with different individual behaviors, constraints and interests, and affected by the aggregate behavior of the overall population. For such large-scale systems, the theory of “mean field” games and control has been successfully applied in various scientific disciplines. While the existing mean field control literature is limited to unconstrained problems, we formulate mean field problems in the presence of heterogeneous convex constraints at the level of individual agents, for instance arising from agents with linear dynamics subject to convex state and control constraints. We propose several iterative solution methods and show that, even in the presence of constraints, the mean field solution gets arbitrarily close to a mean field Nash equilibrium as the population size grows. We apply our methods to the constrained linear quadratic mean field control problem and to the constrained mean field charging control problem for large populations of plug-in electric vehicles.

研究动机与目标

• 填补均场控制理论在具有异构代理的约束系统中的空白。
• 开发在个体约束下仍能收敛至纳什均衡的迭代式去中心化算法。
• 将均场控制扩展至包含状态和控制约束的实际问题，如电动汽车充电。
• 在凸约束下，严格分析所提方法的收敛性特征。

提出的方法

• 建立一个具有个体代理在状态和控制上具有异构凸约束的约束型均场控制问题。
• 引入迭代式去中心化算法，每个代理根据群体的均场行为更新其策略。
• 采用对偶分解方法处理凸约束，实现分布式计算。
• 将该方法应用于两个案例研究：线性二次控制和插电式电动汽车充电。
• 采用变分不等式框架分析收敛至纳什均衡的过程。
• 证明当群体规模增大时，即使存在约束，均场解仍会趋近于纳什均衡。

实验结果

研究问题

• RQ1 去中心化的均场控制能否扩展至具有异构凸约束的个体代理系统？
• RQ2 在存在约束的情况下，迭代式去中心化算法是否能收敛至纳什均衡？
• RQ3 约束的存在如何影响均场控制的收敛速度与稳定性？
• RQ4 所提方法能否有效应用于具有状态和控制限制的实际问题，如电动汽车充电？
• RQ5 在约束型均场控制中，针对收敛至纳什均衡可提供哪些理论保证？

主要发现

• 所提出的去中心化算法在群体规模趋于无穷大时，即使在异构凸约束下，仍能收敛至均场纳什均衡。
• 该方法成功将均场控制理论从无约束情形扩展至包含状态和控制约束的情形。
• 对于线性二次均场控制问题，该算法在约束下实现了近似最优性能。
• 在电动汽车充电应用中，该方法确保所有车辆满足其个体充电约束，同时最小化系统总成本。
• 理论分析通过变分不等式框架证实了收敛性，建立了极限情况下纳什均衡的存在性。
• 数值结果表明，该方法在具有多样化代理行为的大规模场景中表现出良好的鲁棒性与可扩展性。