[论文解读] Mean Field Games for Multi-agent Systems with Multiplicative Noises

Bing‐Chang Wang, Yuan‐Hua Ni+1 more|arXiv (Cornell University)|Jun 7, 2019

Distributed Control Multi-Agent Systems参考文献 31被引用 4

一句话总结

该论文为具有控制相关乘性噪声的多智能体系统开发了平均场博弈策略，通过求解极限最优控制问题并采用一致的平均场近似，推导出去中心化的ε-纳什均衡。对于积分器系统，在较弱条件下证明了智能体可通过基于凸性的策略实现均方一致性，稳定性条件由Riccati型方程显式导出。

ABSTRACT

This paper studies mean field games for multi-agent systems with control-dependent multiplicative noises. For the general systems with nonuniform agents, we obtain a set of decentralized strategies by solving an auxiliary limiting optimal control problem subject to consistent mean field approximations. The set of decentralized strategies is further shown to be an $\varepsilon$-Nash equilibrium. For the integrator multiagent systems, we design a set of $\varepsilon$-Nash strategies by exploiting the convexity property of the limiting problem. It is shown that under the mild conditions all the agents achieve mean-square consensus.

研究动机与目标

• 解决大规模多智能体系统中控制依赖性乘性噪声的去中心化控制问题，其中传统加性噪声模型不足以描述系统行为。
• 开发一种平均场博弈框架，以考虑多智能体动力学中与状态和控制相关的随机扰动。
• 建立在一般非均匀多智能体系统中，去中心化策略形成ε-纳什均衡的条件。
• 研究在乘性噪声下，积分器型多智能体系统中均方一致性的实现，结合凸性分析与基于Riccati的控制设计。
• 比较乘性噪声与加性噪声下的一致性性能，揭示收敛行为的根本差异。

提出的方法

• 求解一个辅助的极限最优控制问题，以在具有乘性噪声的大规模群体系统中近似平均场效应。
• 实施一致的平均场近似，推导出将个体最优响应与群体行为相联系的固定点方程。
• 基于极限问题的解与平均场效应，推导出去中心化策略，确保其具备ε-纳什均衡特性。
• 对于积分器系统，利用极限问题的凸性，通过Riccati方程设计显式的ε-纳什策略。
• 采用包含与状态和控制均相关扩散项的随机线性二次（LQ）框架，以建模乘性噪声。
• 对闭环系统进行稳定性分析，基于由系统参数导出的矩阵对的稳定性，推导出均方一致性的条件。

实验结果

研究问题

• RQ1 如何为具有控制相关乘性噪声的多智能体系统设计去中心化策略？
• RQ2 在一般非均匀多智能体系统中，所推导的策略集在何种条件下形成ε-纳什均衡？
• RQ3 在具有乘性噪声的积分器型多智能体系统中，能否实现均方一致性？其必要与充分条件是什么？
• RQ4 具有乘性噪声与加性噪声的系统在一致性行为上存在哪些差异？
• RQ5 Riccati方程在控制乘性噪声下稳定系统并确保一致性的过程中发挥何种作用？

主要发现

• 所提出的去中心化策略在具有乘性噪声的一般非均匀多智能体系统中形成ε-纳什均衡，其推导基于一致的平均场近似。
• 对于积分器系统，平均场博弈方法在一致性方程中产生唯一有界解：(s(t), x̄(t)) ≡ (−P x̄₀, x̄₀)。
• 当且仅当矩阵对[−B(R+DᵀPD)⁻¹BᵀP, −D(R+DᵀPD)⁻¹BᵀP]稳定时，可实现均方一致性。
• 当R > 0且ρ = 0时，由于相关矩阵对的稳定性，系统可保证实现均方一致性。
• 数值结果表明，在乘性噪声下智能体可实现一致性，而相同系统在加性噪声下则无法实现，凸显了两类噪声下动力学行为的根本差异。
• 该框架成功将平均场博弈理论扩展至具有乘性噪声的随机系统，其复杂性高于加性噪声情形，主要源于控制相关的扩散项。