[论文解读] Bellman equation and viscosity solutions for mean-field stochastic control problem

Huyên Pham, Xiaoli Wei|arXiv (Cornell University)|Dec 24, 2015

Stochastic processes and financial applications参考文献 16被引用 18

一句话总结

本文建立了系数依赖于状态与控制联合分布的均场随机控制问题的动态规划原理，并推导出 Wasserstein 空间中的 Bellman 方程。利用 Lions 在概率测度上的微分理论及一种新颖的测度流 Itô 公式，证明了粘性解的存在性与唯一性，并在正则性条件下展示了开环控制与反馈控制值函数的等价性，同时给出了线性二次问题的显式解。

ABSTRACT

We consider the stochastic optimal control problem of McKean-Vlasov stochastic differential equation where the coefficients may depend upon the joint law of the state and control. By using feedback controls, we reformulate the problem into a deterministic control problem with only the marginal distribution of the process as controlled state variable, and prove that dynamic programming principle holds in its general form. Then, by relying on the notion of differentiability with respect to pro\-bability measures recently introduced by P.L. Lions in [32], and a special It{ô} formula for flows of probability measures, we derive the (dynamic programming) Bellman equation for mean-field stochastic control problem, and prove a veri\-fication theorem in our McKean-Vlasov framework. We give explicit solutions to the Bellman equation for the linear quadratic mean-field control problem, with applications to the mean-variance portfolio selection and a systemic risk model. We also consider a notion of lifted visc-sity solutions for the Bellman equation, and show the viscosity property and uniqueness of the value function to the McKean-Vlasov control problem. Finally, we consider the case of McKean-Vlasov control problem with open-loop controls and discuss the associated dynamic programming equation that we compare with the case of closed-loop controls.

研究动机与目标

• 建立系数依赖于状态与控制联合分布的均场随机控制问题的动态规划原理。
• 利用 Lions 关于测度微分的概念，在 Wasserstein 空间中推导 Bellman 方程。
• 证明 McKean-Vlasov 控制问题的值函数具有粘性性质且唯一。
• 比较开环控制与反馈控制下的值函数，证明在正则性条件下二者等价。
• 为线性二次均场控制问题提供显式解，包括均值-方差投资组合选择与系统性风险建模的应用。

提出的方法

• 通过仅将边缘分布作为受控状态变量，将带有反馈控制的随机控制问题重新表述为确定性控制问题。
• 将 Lions 关于概率测度可微性的概念应用于定义在平方可积随机变量空间上的函数。
• 利用针对测度流的专用 Itô 公式，推导出动态规划方程的无穷小形式。
• 在 Wasserstein 空间中定义并分析提升后的粘性解，用于 Bellman 方程。
• 基于推导出的哈密顿函数与值函数结构，在 McKean-Vlasov 框架中证明验证定理。
• 比较开环与反馈控制下的哈密顿函数，证明在可测选择与连续性假设下二者相等。

实验结果

研究问题

• RQ1 对于具有状态-控制联合依赖性的均场随机控制问题，其动态规划原理是否在一般形式下成立？
• RQ2 能否通过测度导数与 Wasserstein 空间上的随机分析，严格推导出 McKean-Vlasov SDE 的 Bellman 方程？
• RQ3 在何种条件下，均场控制问题中开环与反馈控制的值函数会一致？
• RQ4 如何在概率测度空间中定义并表征 Bellman 方程的粘性解？
• RQ5 线性二次均场控制问题存在哪些显式解？其在投资组合选择与系统性风险中的应用为何？

主要发现

• 对于具有反馈控制的均场随机控制问题，动态规划原理在一般形式下成立，从而可仅以边缘分布作为状态变量，实现确定性重构。
• 通过 Lions 的测度微分与针对测度流的专用 Itô 公式，推导出 Bellman 方程，得到 Wasserstein 空间中的 Hamilton-Jacobi-Bellman 方程。
• 证明了值函数是所推导 Bellman 方程的唯一粘性解，确保了控制问题的适定性。
• 针对线性二次均场控制问题，推导出显式解，其可应用于均值-方差投资组合选择与系统性风险建模。
• 在正则性与连续性条件下，开环与反馈控制的值函数一致，因为开环情况下的哈密顿函数可通过可测选择化为反馈情况下的形式。
• 建立了验证定理，证实满足适当正则性的 Bellman 方程光滑解即为真实的值函数。