[論文レビュー] Decentralized Convergence to Nash Equilibria in Constrained Mean Field Control.

Sergio Grammatico, Francesca Parise+2 more|arXiv (Cornell University)|Oct 16, 2014

Distributed Control Multi-Agent Systems参考文献 10被引用数 13

ひとこと要約

本稿は、凸制約を受ける非一様なエージェントからなる大規模な集団における平均場制御の分散型反復的手法を提案し、集団規模が増加するにつれてナッシュ均衡に収束することを示している。制約付き設定への平均場制御理論の拡張を図り、線形二次制御および電気自動車の充電問題への適用を示している。

ABSTRACT

This paper considers decentralized control and optimization methodologies for large populations of systems, consisting of several agents with different individual behaviors, constraints and interests, and affected by the aggregate behavior of the overall population. For such large-scale systems, the theory of “mean field” games and control has been successfully applied in various scientific disciplines. While the existing mean field control literature is limited to unconstrained problems, we formulate mean field problems in the presence of heterogeneous convex constraints at the level of individual agents, for instance arising from agents with linear dynamics subject to convex state and control constraints. We propose several iterative solution methods and show that, even in the presence of constraints, the mean field solution gets arbitrarily close to a mean field Nash equilibrium as the population size grows. We apply our methods to the constrained linear quadratic mean field control problem and to the constrained mean field charging control problem for large populations of plug-in electric vehicles.

研究の動機と目的

• 制約付きシステムに適用可能な平均場制御理論における非一様なエージェントに関するギャップを埋めること。
• 個々の制約があるにもかかわらずナッシュ均衡に収束する反復的・分散型アルゴリズムの開発。
• 状態制約および制御制約を含む、実世界の問題（例：電気自動車の充電）への平均場制御の拡張。
• 凸制約下での提案手法の収束特性を厳密に分析すること。

提案手法

• 各エージェントが状態および制御に非一様な凸制約を有する制約付き平均場制御問題を定式化する。
• 各エージェントが集団の平均場行動に基づいて戦略を更新する反復的・分散型アルゴリズムを導入する。
• 凸制約を扱うために双対分解法を用い、分散計算を可能にする。
• 線形二次制御およびプラグイン型電気自動車の充電という2つの事例に応用する。
• ナッシュ均衡への収束を分析するために変分不等式フレームワークを採用する。
• 集団規模が増加するにつれて、平均場解が制約下でもナッシュ均衡に近づくことを証明する。

実験結果

リサーチクエスチョン

• RQ1 非一様な凸制約を有するエージェントを対象とした分散型平均場制御は、拡張可能か？
• RQ2 制約が存在する状況下でも、反復的・分散型アルゴリズムはナッシュ均衡に収束するか？
• RQ3 制約の存在が、平均場制御の収束速度および安定性に与える影響は何か？
• RQ4 提案手法は、状態および制御制限を伴う実用的問題（例：電気自動車の充電）に効果的に適用可能か？
• RQ5 制約付き平均場制御におけるナッシュ均衡への収束に対して、どのような理論的保証を提供できるか？

主な発見

• 提案された分散型アルゴリズムは、集団規模が無限大に近づくにつれて、非一様な凸制約下でも平均場ナッシュ均衡に収束する。
• 本手法は、制約なしの設定に限らない平均場制御理論を、状態および制御制約を含む状況にまで拡張した。
• 線形二次平均場制御問題において、制約下でもほぼ最適な性能を達成する。
• 電気自動車の充電応用において、すべての車両が個々の充電制約を満たしつつ、システム全体のコストを最小化することを保証する。
• 理論的分析により、変分不等式フレームワークを用いて収束を確認し、極限においてナッシュ均衡の存在を確立した。
• 数値結果により、多様なエージェント行動を伴う大規模な設定において、本手法のロバストネスおよびスケーラビリティが示された。