[論文レビュー] A Hybrid Optimal Control Approach to LQG Mean Field Games with Switching and Stopping Strategies.

Dena Firoozi, Ali Pakniyat+1 more|arXiv (Cornell University)|Oct 6, 2018

Stochastic processes and financial applications参考文献 14被引用数 3

ひとこと要約

本稿では、1体の主要エージェントと2つのマイノリティエージェント集団を有する非協力的確率ゲームにおいて、平均場ゲーム（MFG）と線形二次ガウス（LQG）理論を統合したハイブリッド最適制御フレームワークを提案し、$\text{5c}$-ナッシュ均衡を導出する。この手法は、離散状態を用いてスイッチングダイナミクスと停止時刻をモデル化し、すべてのエージェントに対して最適なスイッチングおよび停止戦略と、二次コスト基準下でのベストリスポンス制御を提示する。

ABSTRACT

A novel framework is presented that combines Mean Field Game (MFG) theory and Hybrid Optimal Control (HOC) theory to obtain a unique $\epsilon$-Nash equilibrium for a non-cooperative game with stopping times. We consider the case where there exists one major agent with a significant influence on the system together with a large number of minor agents constituting two subpopulations, each with individually asymptotically negligible effect on the whole system. Each agent has stochastic linear dynamics with quadratic costs, and the agents are coupled in their dynamics by the average state of minor agents (i.e. the empirical mean field). The hybrid feature enters via the indexing by discrete states: (i) the switching of the major agent between alternative dynamics or (ii) the termination of the agents' trajectories in one or both of the subpopulations of minor agents. Optimal switchings and stopping time strategies together with best response control actions for, respectively, the major agent and all minor agents are established with respect to their individual cost criteria by an application of LQG HOC theory.

研究の動機と目的

• 主エージェントと多数のマイノリティエージェントが関与する非協力的確率ゲームを、個々のマイノリティエージェントの影響が漸近的に無視可能である場合に取り扱う。
• エージェントのスイッチングダイナミクスまたは終了（停止時刻）を、離散的状態インデックスによってモデル化する。
• 二次コスト関数の下で、主エージェントおよびマイノリティエージェントの最適制御戦略（スイッチングおよび停止を含む）を確立する。
• LQG理論とハイブリッド最適制御理論を組み合わせることで、一意の$\text{5c}$-ナッシュ均衡を導出する。
• マイノリティエージェントの経験的平均場を介してエージェントのダイナミクスを結合することで、均衡のロバスト性を確保する。

提案手法

• 離散状態がダイナミクス間のスイッチングまたはエージェント軌道の終了を表すハイブリッド最適制御（HOC）構造を定式化する。
• 線形確率的ダイナミクスと二次コスト関数の下で、最適制御問題をLQG理論を用いて解く。
• マイノリティエージェントの平均状態を表す経験的平均場を介してエージェント間の結合性をモデル化する。
• ハイブリッド設定下で動的プログラミングとハミルトニアン・ジャコビ・ベルマン方程式を用いて、すべてのエージェントのベストリスポンス制御行動を導出する。
• MFGとHOCフレームワークの相互作用を通じて、$\text{5c}$-ナッシュ均衡の存在を確立する。
• 2つのマイノリティサブポピュレーション構造を用いる：各グループは異なるダイナミクスと停止行動を有する。

実験結果

リサーチクエスチョン

• RQ1 スイッチングおよび停止戦略を有するシステムにおいて、ハイブリッド最適制御フレームワークを平均場ゲームのダイナミクスに拡張する方法は何か？
• RQ2 1体の主エージェントと2つのマイノリティエージェントサブポピュレーションを有する非協力的ゲームにおいて、一意の$\text{5c}$-ナッシュ均衡が存在するための条件は何か？
• RQ3 スイッチングダイナミクスと停止時刻は、二次コスト基準下での主エージェントおよびマイノリティエージェントの最適制御戦略にどのように影響を与えるか？
• RQ4 マイノリティエージェントの経験的平均場は、ハイブリッドLQG設定下での均衡戦略にどのような影響を及ぼすか？
• RQ5 LQGとHOC理論の組み合わせにより、大規模な人口を持つ確率的ゲームにおけるスイッチングおよび停止の両方に対して、取り扱いやすく最適な制御方策を導出できるか？

主な発見

• 本フレームワークは、主エージェントと2つのマイノリティエージェントサブポピュレーションを有する非協力的ゲームにおいて、一意の$\text{5c}$-ナッシュ均衡を確立した。
• LQGとHOC理論の統合を通じて、主エージェントおよびマイノリティエージェントそれぞれに対して最適なスイッチングおよび停止時刻戦略が導出された。
• マイノリティエージェントの経験的平均状態を介した平均場結合により、個々のエージェントの影響が漸近的に無視可能である一方で、システム全体の相互作用を維持できる。
• ハイブリッド制御設定下で、動的プログラミングとハミルトニアン・ジャコビ・ベルマン方程式を用いて、すべてのエージェントのベストリスポンス制御行動が明示的に特徴付けられた。
• スイッチングおよび終了のための離散状態を組み込んだハイブリッド構造により、大規模な確率的ゲームにおける複雑なエージェント行動のモデル化が可能になった。
• 解法フレームワークはスケーラブルであり、スイッチングダイナミクスと有限時間ホライズンの停止行動を示すエージェントに適用可能である。