[論文レビュー] Convex Analysis for LQG Systems with Applications to Major Minor LQG Mean-Field Game Systems

Dena Firoozi, Sebastian Jaimungal+1 more|arXiv (Cornell University)|Oct 15, 2018

Stochastic processes and financial applications参考文献 62被引用数 27

ひとこと要約

本稿では、線形二次ガウス（LQG）最適制御問題を解くための凸解析的手法を導入し、平均場の進化に関する制限のない仮定のもとで、主要・準拠型平均場ゲーム（MFG）システムに適用することで、$\epsilon$-ナッシュ均衡戦略の導出を可能にした。この手法は、ゲートー微分とリカチ方程式を活用し、有限および無限時間設定における主要および準拠エージェントの最良応答制御を特徴付ける。

ABSTRACT

We develop a convex analysis approach for solving LQG optimal control problems and apply it to major-minor (MM) LQG mean-field game (MFG) systems. The approach retrieves the best response strategies for the major agent and all minor agents that attain an $\\epsilon$-Nash equilibrium. An important and distinctive advantage to this approach is that unlike the classical approach in the literature, we are able to avoid imposing assumptions on the evolution of the mean-field. In particular, this provides a tool for dealing with complex and non-standard systems.

研究の動機と目的

• 平均場ダイナミクスに関する制限のない仮定を必要としないLQG最適制御問題を解くための凸解析フレームワークの構築を目的とする。
• このフレームワークを、1体の主要エージェントと多数の準拠エージェントからなる大規模な主要・準拠型LQG平均場ゲーム（MFG）システムに拡張することを目的とする。
• 有限および無限時間設定において、$\epsilon$-ナッシュ均衡を達成する主要および準拠エージェントの明示的最良応答戦略の導出を目的とする。
• 古典的な平均場の進化に関する仮定を回避することで、LQG MFGシステムを体系的に解く方法を提供することを目的とする。これにより、複雑で標準的でないシステムへの応用が可能になる。
• 検出可能性、可安定性、漸近安定性の条件下で、導かれる固定点方程式の解の存在および一意性を確立することを目的とする。

提案手法

• 確率的動的システムにおける最適性の必要条件として、コスト関数のゲートー微分を用いる。
• 凸解析を適用して、LQG制御問題における最適性の必要および十分条件を導出し、動的プログラミングや確率的最適原理に依存しない。
• コストレートおよびオフセット項のためのリカチ方程式と線形行列系を用いて、主要エージェントおよび準拠エージェントの最良応答戦略を導出する。
• 割引コスト基準のもとで、無限時間設定の解を代数的リカチ方程式と時間不変のリカチ行列を用いて解く。
• 固定点方程式の解の存在および一意性を保証するため、システム行列に安定性、検出可能性、可安定性の条件を課す。
• 人口規模が無限大に近づく際の収束議論を通じて、導出された戦略と$\epsilon$-ナッシュ均衡との等価性を確立する。

実験結果

リサーチクエスチョン

• RQ1 平均場の進化に関する特定の法則を仮定しないで、凸解析的手法を用いてLQG最適制御問題を解くことは可能か？
• RQ2 平均場ゲームの枠組みにおいて、主要エージェントおよび多数の準拠エージェントの最良応答戦略はどのように導出可能か？
• RQ3 主要・準拠型LQG MFGシステムにおける固定点方程式の解の存在および一意性を保証する条件は何か？
• RQ4 導出された戦略は、有限および無限時間設定の両方でどのように$\epsilon$-ナッシュ均衡を達成するか？
• RQ5 リカチ方程式およびゲートー微分は、この凸フレームワークにおける最適制御則を特徴付ける上で果たす役割は何か？

主な発見

• 凸解析的手法により、平均場の進化に関する仮定なしに、主要・準拠型LQG MFGシステムにおける主要および準拠エージェントの最良応答戦略を効果的に回復できた。
• 有限時間設定では、リカチ方程式およびコストレートとオフセット項のための線形系を用いて最良応答戦略が導出され、式（133）を満たす。
• 無限時間設定では、代数的リカチ方程式（139）および（141）によって解が特徴付けられ、時間不変のリカチ行列と定数のオフセットベクトルが用いられる。
• 漸近的安定性、検出可能性、可安定性を含む仮定11～13の下で、解の存在および一意性が保証される。
• 人口規模$N \to \infty$の極限において、導出された戦略は$\epsilon$-ナッシュ均衡を形成し、近似誤差は極限で消える。
• 平均場ダイナミクスに関する制限のない仮定があるため、このフレームワークは複雑で標準的でないシステムに対しても一般に適用可能である。