[論文レビュー] Viscosity Solutions to Master Equations and McKean-Vlasov SDEs with Closed-loop Controls

Cong Wu, Jianfeng Zhang|arXiv (Cornell University)|May 7, 2018

Stochastic processes and financial applications被引用数 1

ひとこと要約

本稿は、閉ループ制御を伴う McKean-Vlasov SDE における放物型マスタ方程式のための、新たな可視化解フレームワークを提案する。これは、半 martingale 測度を用いたコンパクト性の活用によって実現される。well-posedness が確立され、Dupire の機能的 Itô 公式が経路に依存する設定へと拡張され、複雑な測度依存正則性を示す価値関数の解析が可能になる。

ABSTRACT

The master equation is a type of PDE whose state variable involves the distribution of certain underlying state process. It is a powerful tool for studying the limit behavior of large interacting systems, including mean field games and systemic risk. It also appears naturally in stochastic control problems with partial information and in time inconsistent problems. In this paper we propose a novel notion of viscosity solution for parabolic master equations, arising mainly from control problems, and establish its wellposedness. Our main innovation is to restrict the involved measures to certain set of semimartingale measures which satisfy the desired compactness. As an important example, we study the HJB master equation associated with the control problems for McKean-Vlasov SDEs. Due to practical considerations, we consider closed-loop controls. It turns out that the regularity of the value function becomes much more involved in this framework than the counterpart in the standard control problems. Finally, we build the whole theory in the path dependent setting, which is often seen in applications. The main result in this part is an extension of Dupire \cite{Dupire}'s functional Ito formula. This Ito formula requires a special structure of the derivatives with respect to the measures, which was originally due to Lions \cite{Lions4} in the state dependent case. We provided an elementary proof for this well known result in the short note \cite{WZ}, and the same arguments work in the path dependent setting here.

研究の動機と目的

• 閉ループ制御を伴う平均場制御問題に生じる放物型マスタ方程式の well-posedness を取り扱う。
• オープンループ設定と比較して、閉ループフレームワークにおける価値関数の正則性の向上に起因する課題を克服する。
• Lions のフレームワークに基づき、経路に依存する設定における測度依存微分を伴う Dupire の機能的 Itô 公式を拡張する。
• 経路に依存するおよび部分情報設定下でのマスタ方程式に対する可視化解理論を確立する。
• 良好な解析的性質を有する半 martingale 種別測度に制限することにより、コンパクト性と可解性を保証する。

提案手法

• 分布的状態変数を伴う制御問題における放物型マスタ方程式に特化した、新たな可視化解の概念を導入する。
• 存在および一意性の結果を得るために、コンパクト性を保証するため、測度の集合を半 martingale 測度に制限する。
• 価値関数の正則性が著しく複雑になる閉ループ制御下の McKean-Vlasov SDE に対する HJB マスタ方程式に理論を適用する。
• 経路に依存する設定における Dupire の機能的 Itô 公式を拡張し、測度に関する微分に特化した構造を必要とする。
• 経路に依存する過程に対して Lions の測度微分フレームワークを適応し、主要な微分構造の初等的証明を提供する。
• 経路に依存するおよび測度依存するダイナミクスと整合する機能的 Itô 微積分フレームワークを構築する。これは、部分情報を持つ確率的制御において極めて重要である。

実験結果

リサーチクエスチョン

• RQ1 閉ループ制御および分布的状態を伴う制御問題における放物型マスタ方程式に対して、可視化解はどのように定義可能か？
• RQ2 このような制御問題におけるマスタ方程式の well-posedness を確保するための測度クラスは何か？
• RQ3 閉ループとオープンループの両設定下における McKean-Vlasov 制御フレームワークにおける価値関数の正則性は、どのように異なるか？
• RQ4 測度依存微分を伴う経路に依存する設定において、Dupire の機能的 Itô 公式を拡張できるか？
• RQ5 経路に依存する設定における機能的 Itô 公式に対して、必要なおよび十分な測度微分の構造的条件は何か？

主な発見

• 閉ループ制御を伴う McKean-Vlasov SDE における放物型マスタ方程式に対して、well-posedness を保証する新たな可視化解の概念が提案された。
• 半 martingale 測度の使用により、可視化解の存在および一意性を示すために必要なコンパクト性が得られた。
• 閉ループ制御における価値関数は、オープンループ設定と比較して著しく複雑な正則性を示すため、洗練された解法フレームワークの導入が不可欠となった。
• 測度依存微分を伴う経路に依存する過程に対して、Dupire の機能的 Itô 公式の拡張が確立され、Lions のフレームワークが一般化された。
• 経路に依存する設定における測度微分の主要構造に対して、初等的証明が提供され、既存の結果と整合することが確認された。
• 理論は完全に経路に依存する設定に発展させられ、部分情報を持つ確率的制御および時不一致問題への応用が可能になった。