[論文レビュー] Viscosity Solutions to Parabolic Master Equations and McKean-Vlasov SDEs with Closed-loop Controls

Cong Wu, Jianfeng Zhang|arXiv (Cornell University)|May 7, 2018

Stochastic processes and financial applications参考文献 28被引用数 10

ひとこと要約

本稿は、閉ループ制御を伴う McKean-Vlasov ストークス的制御問題に生じる放物型マスタ方程式に対する、非線形な粘性解フレームワークを導入し、半マルティンゲール測度空間におけるコンパクト性を用いて適切に定義されることを保証する。主な貢献は、経路に依存する関数的 Itô 公式の拡張と、最小限の正則性仮定の下で存在性・一意性を保証する新しい内在的粘性解概念の導入である。

ABSTRACT

The master equation is a type of PDE whose state variable involves the distribution of certain underlying state process. It is a powerful tool for studying the limit behavior of large interacting systems, including mean field games and systemic risk. It also appears naturally in stochastic control problems with partial information and in time inconsistent problems. In this paper we propose a novel notion of viscosity solution for parabolic master equations, arising mainly from control problems, and establish its wellposedness. Our main innovation is to restrict the involved measures to certain set of semimartingale measures which satisfy the desired compactness. As an important example, we study the HJB master equation associated with the control problems for McKean-Vlasov SDEs. Due to practical considerations, we consider closed-loop controls. It turns out that the regularity of the value function becomes much more involved in this framework than the counterpart in the standard control problems. Finally, we build the whole theory in the path dependent setting, which is often seen in applications. The main result in this part is an extension of Dupire \cite{Dupire}'s functional Itô formula. This Itô formula requires a special structure of the derivatives with respect to the measures, which was originally due to Lions \cite{Lions4} in the state dependent case. We provided an elementary proof for this well known result in the short note \cite{WZ}, and the same arguments work in the path dependent setting here.

研究の動機と目的

• 閉ループ制御を伴う McKean-Vlasov SDE における放物型マスタ方程式の適切な定義を持つ粘性解理論を構築すること。
• Wasserstein 空間における局所的コンパクト性の欠如を補うために、特性が有界な半マルティンゲール測度のコンパクト集合に制限されたテスト関数を導入すること。
• Lions のアプローチを一般化するために、測度微分を伴う経路に依存する設定における Dupire の関数的 Itô 公式を拡張すること。
• 特に制御問題における価値関数に対して、最小限の正則性仮定の下で粘性解の存在性・一意性を確立すること。
• 時不一致および部分情報制御問題を扱えるフレームワークを、Wasserstein 空間上での内在的粘性解によって提供すること。

提案手法

• 有界なドリフトおよび拡散をもつ半マルティンゲール測度のコンパクト集合 $[t,t+\delta] \times \mathcal{P}_L(t,\mu)$ に制限することで、$\varphi - V$ の最大値・最小値をとる新しい粘性解概念を導入する。
• 測度空間 $\mathcal{P}_L(t,\mu)$ のコンパクト性を用いて、比較原理が成立することを保証し、Wasserstein 空間上での古典的手法の限界を克服する。
• 経路に依存する設定における関数的 Itô 公式を適用するため、Lions が導入した測度微分の特定の構造を必要とする。
• 価値関数 $V(t,\mu)$ に対して、閉ループ制御フレームワークにおける動的計画法の原則を証明する。
• 近似法および確率測度のカップリングを用いて、価値関数の一様連続性と状態依存性を確立する。
• 価値関数 $V(t,\mu)$ が $t$ および $\mu$ に依存するのを制御するための連続性モジュラス $\rho$ を用い、摂動に対して安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 閉ループ制御を伴う McKean-Vlasov 設定における放物型マスタ方程式に対して、どのように粘性解理論を構築できるか？
• RQ2 測度空間にどのようなコンパクト性構造が、粘性解理論における比較原理を保証するか？
• RQ3 測度微分を伴う経路に依存する PDE に対して、どのように Dupire の関数的 Itô 公式を拡張できるか？
• RQ4 閉ループフィードバック下で、McKean-Vlasov 制御問題の価値関数がどのような正則性を持つのか？
• RQ5 どのような条件下で価値関数は状態依存的になるか、すなわち $V(t,\mu) = V(t,\mu_t)$ となるか？

主な発見

• 提案された粘性解概念は、特性が有界な半マルティンゲール測度空間におけるコンパクト性を活用することで、マスタ方程式の適切な定義を保証する。
• 価値関数 $V(t,\mu)$ は $(t,\mu)$ に関して一様連続であり、その連続性モジュラスは Wasserstein 距離と時間差に依存する。
• 測度微分を伴う経路に依存する PDE に対して、Dupire の関数的 Itô 公式の拡張が確立され、Lions の枠組みが一般化された。
• 価値関数は、経路に依存する制御が存在する閉ループ制御設定においても、動的計画法の原則を満たす。
• 係数が状態に依存する場合、価値関数は現在の周辺分布 $\mu_t$ のみに依存し、$V(t,\mu) = V(t,\mu_t)$ となる。
• 解理論は摂動に対して安定である：$|V(t_1,\mu) - V(t_2,\nu)| \leq \rho(C\mathcal{W}_2((t_1,\mu),(t_2,\nu)) + C(1 + \mathbb{E}^\mu[\|X_{t_1\wedge\cdot}\|^2])^{1/2}|t_2 - t_1|)$ が成り立ち、摂動に対する安定性が示される。