[論文レビュー] Mean Field Games for Multi-agent Systems with Multiplicative Noises

Bing‐Chang Wang, Yuan‐Hua Ni+1 more|arXiv (Cornell University)|Jun 7, 2019

Distributed Control Multi-Agent Systems参考文献 31被引用数 4

ひとこと要約

本稿は、制御に依存する乗法的ノイズを有する多エージェント系に対して、極限最適制御問題と一貫性のある平均場近似を用いて、分散型εナッシュ均衡を導出する平均場ゲーム戦略を開発する。積分器系の場合、やや弱い条件下で凸性に基づく戦略により、平均二乗意味での一致が達成されることを証明し、リカッチ型方程式から明示的な安定性条件を導出する。

ABSTRACT

This paper studies mean field games for multi-agent systems with control-dependent multiplicative noises. For the general systems with nonuniform agents, we obtain a set of decentralized strategies by solving an auxiliary limiting optimal control problem subject to consistent mean field approximations. The set of decentralized strategies is further shown to be an $\varepsilon$-Nash equilibrium. For the integrator multiagent systems, we design a set of $\varepsilon$-Nash strategies by exploiting the convexity property of the limiting problem. It is shown that under the mild conditions all the agents achieve mean-square consensus.

研究の動機と目的

• 従来の加法的ノイズモデルが不十分である、制御に依存する乗法的ノイズを有する大規模集団の多エージェント系における分散制御を扱う。
• 多エージェントダイナミクスにおける状態および制御に依存する確率的摂動を考慮する平均場ゲームフレームワークを構築する。
• 一般非一様多エージェント系において、分散型戦略がεナッシュ均衡を形成する条件を確立する。
• 凸性とリカッチに基づく制御設計を用いて、乗法的ノイズ下での積分器型多エージェント系における平均二乗意味での一貫を調査する。
• 乗法的ノイズと加法的ノイズの両方における一貫性能を比較し、収束行動における根本的な違いを示す。

提案手法

• 大規模集団の乗法的ノイズを有する系における平均場効果を近似するため、補助的な極限最適制御問題を解く。
• 一貫性のある平均場近似を実装し、個々の最適反応と集団レベルの行動を結ぶ固定点方程式を導出する。
• 極限問題の解と平均場効果に基づく分散型戦略を導出し、εナッシュ均衡の性質を保証する。
• 積分器系の場合、極限問題の凸性を活用して、リカッチ方程式を用いた明示的なεナッシュ戦略を設計する。
• 状態および制御に依存する拡散項を有する確率的線形二次（LQ）フレームワークを用いて、乗法的ノイズをモデル化する。
• システムパラメータから導かれる行列対の安定性に基づいて、閉ループ系に対する安定性解析を適用し、平均二乗意味での一貫のための条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 制御に依存する乗法的ノイズを有する多エージェント系に対して、どのように分散型戦略を設計できるか？
• RQ2 導出された戦略集合が、一般非一様多エージェント系においてεナッシュ均衡を形成する条件は何か？
• RQ3 積分器型多エージェント系において、乗法的ノイズ下でも平均二乗意味での一貫が達成可能か？その必要十分条件は何か？
• RQ4 乗法的ノイズを有する系と加法的ノイズを有する系では、一貫行動にどのような相違が生じるか？
• RQ5 リカッチ方程式は、乗法的ノイズ下でのシステム安定化および一貫の確保にどのような役割を果たすか？

主な発見

• 提案された分散型戦略は、一貫性のある平均場近似を用いて導出された一般非一様多エージェント系における乗法的ノイズ下でεナッシュ均衡を形成する。
• 積分器系の場合、平均場ゲームアプローチにより、一貫性方程式に対して一意の有界解 (s(t), x̄(t)) ≡ (−P x̄₀, x̄₀) が得られる。
• 平均二乗意味での一貫は、行列対 [−B(R+DᵀPD)⁻¹BᵀP, −D(R+DᵀPD)⁻¹BᵀP] が安定である場合にかつその場合に限り達成される。
• R > 0 かつ ρ = 0 のとき、関連する行列対の安定性により、平均二乗意味での一貫が保証される。
• 数値結果は、乗法的ノイズ下ではエージェントが一貫に到達するが、同じ系が加法的ノイズ下ではそのような到達が不可能であることを示しており、動的挙動の顕著な相違を強調する。
• 本フレームワークは、制御に依存する拡散項を有するため、加法的ノイズの場合よりも複雑である確率的系への平均場ゲーム理論の成功した拡張を実現する。