[论文解读] Generalized McKean-Vlasov (Mean Field) Control: a stochastic maximum principle and a transport perspective

Beatrice Acciaio, Julio Backhoff‐Veraguas+1 more|arXiv (Cornell University)|Feb 15, 2018

Stochastic processes and financial applications参考文献 17被引用 6

一句话总结

本文为广义麦科恩-弗拉索夫控制问题发展了一种随机最大值原理，其中动态和成本均依赖于状态与控制的联合分布。该研究引入了一种变分方法，将问题与路径空间上的最优传输联系起来，建立了必要的局部鞅最优性条件，并揭示了平均场控制与最优传输之间的一种新对偶关系。

ABSTRACT

We study McKean-Vlasov stochastic control problems where both the cost functions and the state dynamics depend upon the joint distribution of the controlled state and the control process. Our contribution is twofold. On the one hand, we prove a suitable version of the Pontryagin stochastic maximum principle (in necessary and in sufficient form). On the other hand, we suggest a variational approach to study a weak formulation of these difficult control problems. In this context, we derive a necessary martingale optimality condition, and we establish a new connection between such problems and an optimal transport problem on path space.

研究动机与目标

• 将随机最大值原理推广至动态和成本依赖于状态与控制联合分布的麦科恩-弗拉索夫控制问题。
• 通过变分方法建立广义麦科恩-弗拉索夫控制问题的弱形式化。
• 建立广义麦科恩-弗拉索夫控制与路径空间上最优传输之间的联系。
• 为弱形式化问题推导出必要的局部鞅最优性条件。
• 在广义设定下，提供最优性的必要与充分条件。

提出的方法

• 构建广义麦科恩-弗拉索夫控制问题，其中动态与成本对状态与控制过程的联合分布具有依赖关系。
• 以必要与充分形式应用庞特里亚金随机最大值原理的一个版本，以推导最优性条件。
• 通过在概率测度空间上的变分方法，引入控制问题的弱形式化。
• 通过对偶性与变分法，在弱形式化中推导出必要的局部鞅最优性条件。
• 通过使用Wasserstein型梯度，建立控制问题与路径空间上最优传输问题之间新颖的联系。
• 利用传输视角重新解释最优性条件，为解的结构提供新的洞见。

实验结果

研究问题

• RQ1 如何将随机最大值原理推广，以包含动态与成本对状态与控制联合分布的依赖？
• RQ2 何种变分框架能够实现广义麦科恩-弗拉索夫控制问题的弱形式化？
• RQ3 在该类问题的弱形式化中，局部鞅最优性条件起到何种作用？
• RQ4 最优控制的结构如何与路径空间上的最优传输相关联？
• RQ5 在此广义设定下，能否严格建立平均场控制与最优传输之间的对偶性？

主要发现

• 推导出适用于具有状态-控制联合依赖关系的麦科恩-弗拉索夫控制问题的广义随机最大值原理，涵盖必要与充分形式。
• 引入了问题的弱形式化，使得在概率测度空间上应用变分技术成为可能。
• 在弱形式化中建立了必要的局部鞅最优性条件，为验证提供了关键分析工具。
• 揭示了广义麦科恩-弗拉索夫控制问题与路径空间上最优传输问题之间新颖的联系。
• 从传输视角出发，为最优性条件提供了新的几何解释，将平均场控制与Wasserstein梯度流联系起来。
• 本研究将随机最大值原理的适用范围扩展至具有更丰富依赖结构的更广泛平均场控制问题类别。