[论文解读] Linear Quadratic Mean Field Teams: Optimal and Approximately Optimal Decentralized Solutions

Jalal Arabneydi, Aditya Mahajan|arXiv (Cornell University)|Aug 31, 2016

Advanced Optimization Algorithms Research参考文献 3被引用 21

一句话总结

本文证明了在具有可交换代理的大规模去中心化系统中，线性控制策略是团队最优的，其中系统动态和代价依赖于状态和动作的平均场。在完整平均场观测下，线性解是最优的；在部分观测下，线性解近似最优，近似误差与未观测子群体规模成反比，且通过与代理数量无关的 K+1 个解耦的黎卡提方程求解该问题。

ABSTRACT

We consider team optimal control of decentralized systems with linear dynamics, quadratic costs, and arbitrary disturbance that consist of multiple sub-populations with exchangeable agents (i.e., exchanging two agents within the same sub-population does not affect the dynamics or the cost). Such a system is equivalent to one where the dynamics and costs are coupled across agents through the mean-field (or empirical mean) of the states and actions (even when the primitive random variables are non-exchangeable). Two information structures are investigated. In the first, all agents observe their local state and the mean-field of all sub-populations, in the second, all agents observe their local state but the mean-field of only a subset of the sub-populations. Both information structures are non-classical and not partially nested. Nonetheless, it is shown that linear control strategies are optimal for the first and approximately optimal for the second, the approximation error is inversely proportional to the size of the sub-populations whose mean-fields are not observed. The corresponding gains are determined by the solution of K+1 decoupled standard Riccati equations, where K is the number of sub-populations. The dimensions of the Riccati equations do not depend on the size of the sub-populations, thus the solution complexity is independent of the number of agents. Generalizations to major-minor agents, tracking cost, weighted mean-field, and infinite horizon are provided. The results are illustrated using an example of demand response in smart grids.

研究动机与目标

• 解决具有可交换代理和平均场耦合的大规模去中心化系统中的团队最优控制问题。
• 分析代理仅能有限获取信息——特别是子群体平均场部分访问——的系统。
• 建立在非经典信息结构下，线性控制策略仍为最优或近似最优的条件。
• 通过解耦的黎卡提方程，开发一种与代理数量无关的可扩展解法。
• 将结果推广至主导-从属代理结构、跟踪代价、加权平均场及无限时域设置。

提出的方法

• 将系统建模为具有线性动态、二次代价和任意扰动的团队决策问题。
• 利用子群体内代理的可交换性，即使原始变量不可交换，也将问题简化为平均场耦合。
• 分析两种信息结构：完整平均场观测与子群体间部分平均场观测。
• 证明当所有平均场均被观测时，线性控制策略是最优的，利用团队问题的结构。
• 通过将误差界与未观测子群体规模成反比，推导出部分观测下的近似最优性。
• 通过 K+1 个解耦的标准黎卡提方程求解问题，其中 K 为子群体数量，确保计算可扩展性。

实验结果

研究问题

• RQ1 在具有去中心化信息的大规模平均场团队问题中，线性控制策略在何种条件下为团队最优？
• RQ2 部分平均场观测如何影响线性策略的最优性，其可量化的近似误差是多少？
• RQ3 能否使解的复杂度与每个子群体中的代理数量解耦？
• RQ4 结果如何推广至主导-从属代理结构和跟踪代价公式？
• RQ5 平均场在实现大规模去中心化系统可扩展解法中起到何种作用？

主要发现

• 当所有代理均观测到所有子群体的平均场时，线性控制策略为团队最优。
• 在部分平均场观测下，线性策略近似最优，近似误差与未观测子群体规模成反比。
• 解题需要求解 K+1 个解耦的黎卡提方程，其中 K 为子群体数量，且每个黎卡提方程的维数与代理数量无关。
• 因此计算复杂度与总代理数量无关，可实现对大规模系统的可扩展性。
• 对主导-从属代理、跟踪代价和加权平均场的推广保持了相同的结构化解法框架。
• 智能电网需求响应的实例展示了该理论框架的实际适用性。