[论文解读] Game Theoretic Control of Multi-Agent Systems

Ting Liu, Jinhuan Wang+1 more|arXiv (Cornell University)|Jul 31, 2016

Distributed Control Multi-Agent Systems参考文献 11被引用 5

一句话总结

该论文提出了一种基于博弈论的分布式多智能体系统控制框架，通过设计局部效用函数，使系统收敛至最大化全局目标函数的纳什均衡。针对固定拓扑和时变拓扑，利用半张量积方法推导出此类效用函数存在的必要与充分条件，确保通过带惯性的最优响应动态实现系统全局最优状态的收敛。

ABSTRACT

Control of multi-agent systems via game theory is investigated. Assume a system level object is given, the utility functions for individual agents are designed to convert a multi-agent system into a potential game. First, for fixed topology, a necessary and sufficient condition is given to assure the existence of local information based utility functions. Then using local information the system can converge to a maximum point of the system object, which is a Nash equilibrium. It is also proved that a networked evolutionary potential game is a special case of this multi-agent system. Second, for time-varying topology, the state based potential game is utilized to design the optimal control. A strategy based Markov state transition process is proposed to assure the existence of state based potential function. As an extension of the fixed topology case, a necessary and sufficient condition for the existence of state depending utility functions using local information is also presented. It is also proved that using better reply with inertia strategy, the system converges to a maximum strategy of the state based system object, which is called the recurrent state equilibrium.

研究动机与目标

• 通过设计使个体智能体激励与全局系统目标对齐的局部效用函数，实现多智能体系统的分布式控制。
• 为基于局部信息的效用函数在固定拓扑多智能体系统中的存在性建立必要与充分条件。
• 通过基于状态的潜在博弈与马尔可夫策略转移，将该框架扩展至时变拓扑。
• 证明在最优响应带惯性动态下，系统能收敛至系统级目标函数的最大值。
• 证明网络演化潜在博弈是所提框架的一个特例。

提出的方法

• 利用矩阵的半张量积（STP）对多智能体系统中的有限博弈与策略动态进行建模与分析。
• 采用潜在方程刻画博弈能否以给定的系统级目标函数表示为潜在博弈。
• 通过矩阵秩条件推导出在固定拓扑系统中基于局部信息的效用函数存在的必要与充分条件。
• 引入基于策略的马尔可夫状态转移过程，以确保时变拓扑下基于状态的潜在函数具有非递减性。
• 应用带惯性的最优响应动态，保证系统以概率1收敛至最大化基于状态的潜在函数的遍历状态均衡。
• 通过逻辑矩阵与向量化表示构造显式效用函数，以满足推导出的条件。

Figure 1 : Game Theoretic Approach

实验结果

研究问题

• RQ1 在何种条件下，可设计局部效用函数，使具有固定拓扑的多智能体系统收敛至最大化系统级目标函数的纳什均衡？
• RQ2 如何在保持收敛至最优系统状态的前提下，将该框架扩展至时变拓扑？
• RQ3 在动态拓扑中，仅使用局部信息时，何种条件可确保状态依赖效用函数的存在性？
• RQ4 在去中心化学习动态（如带惯性的最优响应）下，能否保证收敛至全局最优？
• RQ5 网络演化潜在博弈在多大程度上可被纳入该广义博弈论控制框架？

主要发现

• 基于系统潜在函数的矩阵秩条件，推导出固定拓扑多智能体系统中基于局部信息的效用函数存在的必要与充分条件。
• 该框架证明了网络演化潜在博弈是具有系统级目标函数的所提多智能体系统模型的一个特例。
• 对于时变拓扑，提出一种基于策略的马尔可夫过程，以确保基于状态的潜在函数存在且潜在演化非递减。
• 通过带惯性的最优响应动态，系统以概率1收敛至最大化基于状态的潜在函数的遍历状态均衡。
• 一个说明性例子表明，系统以概率1达成一致性，所有智能体均采用行动 $a^* = (1,1,1,1)$，该行动最大化全局目标函数。
• 唯一遍历状态均衡 $[a^*, x^*]$，其中 $a^* = (1,1,1,1)$ 且 $x^* \in \{x_2, x_3\}$，被识别为在所提动态下的几乎必然极限。

Figure 2 : A Network