[論文レビュー] Mean-Field Linear-Quadratic Stochastic Differential Games in an Infinite Horizon

Xun Li, Jingtao Shi+1 more|arXiv (Cornell University)|Jul 12, 2020

Stochastic processes and financial applications参考文献 51被引用数 5

ひとこと要約

本稿は、無限時間における2人対象の平均場線形二次確率的微分ゲームについて、オープンループおよびクローズドループナッシュ均衡の存在と特徴付けを確立する。開口型可解性と閉口型可解性が平均場LQ最適制御問題において同値であることを証明し、結合された代数的リカチ方程式および安定化解を用いて均衡を特徴付ける。

ABSTRACT

This paper is concerned with two-person mean-field linear-quadratic non-zero sum stochastic differential games in an infinite horizon. Both open-loop and closed-loop Nash equilibria are introduced. Existence of an open-loop Nash equilibrium is characterized by the solvability of a system of mean-field forward-backward stochastic differential equations in an infinite horizon and the convexity of the cost functionals, and the closed-loop representation of an open-loop Nash equilibrium is given through the solution to a system of two coupled non-symmetric algebraic Riccati equations. The existence of a closed-loop Nash equilibrium is characterized by the solvability of a system of two coupled symmetric algebraic Riccati equations. Two-person mean-field linear-quadratic zero-sum stochastic differential games in an infinite time horizon are also considered. Both the existence of open-loop and closed-loop saddle points are characterized by the solvability of a system of two coupled generalized algebraic Riccati equations with static stabilizing solutions. Mean-field linear-quadratic stochastic optimal control problems in an infinite horizon are discussed as well, for which it is proved that the open-loop solvability and closed-loop solvability are equivalent.

研究の動機と目的

• 無限時間領域における2人非ゼロ和平均場線形二次確率的微分ゲームの体系的理論を構築すること。
• 前向き・後ろ向き確率的微分方程式および代数的リカチ方程式の可解性条件を用いて、オープンループおよびクローズドループナッシュ均衡の存在を特徴付けること。
• 従来の無限時間LQ制御およびゼロ和ゲームの結果を、平均場設定に拡張すること。これには、オープンループとクローズドループ可解性の同値性を含む。
• 静的安定化解を伴う一般化された代数的リカチ方程式を用いて、ゼロ和平均場LQゲームにおけるサドルポイントの存在を調査すること。
• 今後の研究に向け、ゼロ和ゲームにおけるオープンループとクローズドループサドルポイントの同値性の問題を未解決のまま残すこと。

提案手法

• 大規模集団内の相互作用をモデル化するため、状態および制御の期待値を含む平均場確率的微分方程式（MF-SDE）を導入する。
• 時間変動係数を有する、状態、制御およびそれらの期待値の二次形式としてのコスト関数を定義する。
• 平均場前向き・後ろ向き確率的微分方程式（MF-FBSDE）の可解性およびコスト関数の凸性を用いて、オープンループナッシュ均衡を特徴付ける。
• 2つの結合された非対称代数的リカチ方程式の解を通じて、オープンループ均衡のクローズドループ表現を導出する。
• 2つの結合された対称代数的リカチ方程式の可解性を用いて、クローズドループナッシュ均衡の存在を確立する。
• 一般化された代数的リカチ方程式と静的安定化解を用いてゼロ和ゲームを分析し、最適制御問題におけるオープンループとクローズドループ可解性の同値性を証明する。

実験結果

リサーチクエスチョン

• RQ1 無限時間平均場LQ確率的微分ゲームにおけるオープンループナッシュ均衡が存在する条件は何か？
• RQ2 オープンループナッシュ均衡のクローズドループ表現は、代数的リカチ方程式の観点からどのように特徴付けられるか？
• RQ3 この平均場設定におけるクローズドループナッシュ均衡の存在を保証する条件は何か？
• RQ4 ゼロ和平均場LQゲームにおけるサドルポイントは、一般化された代数的リカチ方程式を用いてどのように特徴付けられるか？
• RQ5 標準LQ制御において知られているオープンループとクローズドループ可解性の同値性は、平均場LQ確率的設定においても保持されるか？

主な発見

• オープンループナッシュ均衡が存在するための必要十分条件は、関連する平均場前向き・後ろ向き確率的微分方程式系が可解であり、コスト関数が凸であることである。
• オープンループナッシュ均衡のクローズドループ表現は、2つの結合された非対称代数的リカチ方程式の解として与えられる。
• クローズドループナッシュ均衡が存在するための必要十分条件は、2つの結合された対称代数的リカチ方程式系が可解であることである。
• ゼロ和ゲームでは、オープンループおよびクローズドループサドルポイントが存在するための必要十分条件は、静的安定化解を伴う2つの結合された一般化された代数的リカチ方程式系が可解であることである。
• 無限時間における平均場LQ最適制御問題において、オープンループ可解性とクローズドループ可解性は同値である。
• 本稿では、未解決の重要なオープンな問題を特定している：ゼロ和平均場LQゲームにおいて、オープンループとクローズドループサドルポイントの同値性が成立するか否かは、今後の研究に委ねられている。