[论文解读] Dynamic programming for optimal control of stochastic McKean-Vlasov dynamics

Huyên Pham, Xiaoli Wei|arXiv (Cornell University)|Apr 14, 2016

Stochastic processes and financial applications参考文献 15被引用 19

一句话总结

本文建立了带共同噪声的随机 McKean-Vlasov 方程最优控制的动态规划原理，通过 Lions 的基于测度的可微性推导出 Hamilton-Jacobi-Bellman 方程，并证明了粘性解的唯一性。研究显式求解了线性二次控制问题，并将其应用于具有共同噪声的银行间借贷系统性风险模型。

ABSTRACT

We study the optimal control of general stochastic McKean-Vlasov equation. Such problem is motivated originally from the asymptotic formulation of cooperative equilibrium for a large population of particles (players) in mean-field interaction under common noise. Our first main result is to state a dynamic programming principle for the value function in the Wasserstein space of probability measures, which is proved from a flow property of the conditional law of the controlled state process. Next, by relying on the notion of differentiability with respect to probability measures due to P.L. Lions [32], and It{ô}'s formula along a flow of conditional measures, we derive the dynamic programming Hamilton-Jacobi-Bellman equation, and prove the viscosity property together with a uniqueness result for the value function. Finally, we solve explicitly the linear-quadratic stochastic McKean-Vlasov control problem and give an application to an interbank systemic risk model with common noise.

研究动机与目标

• 开发适用于带共同噪声的随机 McKean-Vlasov 动力学最优控制的动态规划框架。
• 利用条件分布的流性质，在 Wasserstein 概率测度空间中建立动态规划原理。
• 通过 Lions 微分学与条件测度上的 Itô 公式，推导并证明值函数的粘性解性质及其唯一性。
• 显式求解线性二次（LQ）随机 McKean-Vlasov 控制问题。
• 将理论结果应用于具有共同噪声的银行间借贷系统性风险模型。

提出的方法

• 利用受控状态过程条件分布的流性质，在 Wasserstein 空间中推导出动态规划原理。
• 采用 Lions 关于概率测度的可微性概念，处理状态过程分布依赖性。
• 沿条件测度流应用 Itô 公式，推导出 Hamilton-Jacobi-Bellman（HJB）方程。
• 证明值函数是 HJB 方程的唯一粘性解。
• 通过推导系数的 Riccati 方程组，显式求解线性二次（LQ）随机 McKean-Vlasov 控制问题。
• 利用 Riccati 方程组的解，推导出最优控制与状态过程条件均值的显式反馈形式。

实验结果

研究问题

• RQ1 如何在 Wasserstein 空间中为随机 McKean-Vlasov 动力学最优控制问题建立动态规划原理？
• RQ2 此类控制问题的 Hamilton-Jacobi-Bellman 方程具有何种结构，其粘性解性质如何建立？
• RQ3 在何种条件下，该类随机控制问题中的值函数具有唯一性？
• RQ4 带共同噪声的线性二次（LQ）随机 McKean-Vlasov 控制问题的显式解是什么？
• RQ5 理论框架如何应用于建模具有共同噪声的银行间借贷系统性风险？

主要发现

• 通过受控状态过程条件分布的流性质，严格在概率测度的 Wasserstein 空间中建立了动态规划原理。
• 证明了值函数是所推导出的 Hamilton-Jacobi-Bellman 方程的唯一粘性解。
• 对于线性二次问题，在条件 $ q^2 \leq \eta $ 下，显式求解了 Riccati 系统（5.16），得到正定的 $ \Lambda(t) $，并确保 $ \Gamma(t), \gamma(t), \chi(t) $ 解的存在性与唯一性。
• 最优控制以反馈形式给出：$ \alpha_t^*(X_t^*) = -(2\Lambda(t)+q)(X_t^* - \mathbb{E}[X_t^*|W^0]) - 2\Gamma(t)\mathbb{E}[X_t^*|W^0] - \gamma(t) $，其中系数为显式时间依赖函数。
• 条件均值 $ \bar{X}_t^* = \mathbb{E}[X_t^*|W^0] $ 满足 SDE $ d\bar{X}_t^* = -(2\Gamma(t)\bar{X}_t^* + \gamma(t))dt + (\sigma_1\bar{X}_t^* + \sigma_0)\rho dW_t^0 $，当 $ \sigma_1 = 0 $ 时退化为 $ \bar{X}_t^* = x_0 + \sigma_0\rho W_t^0 $。
• 在 $ N \to \infty $ 的极限下，该解恢复并推广了文献 [18] 的结果，确认了与现有带共同噪声的银行间系统性风险模型的一致性。