[论文解读] A general stochastic maximum principle for optimal control problems of forward-backward systems

Seïd Bahlali|ArXiv.org|Jan 28, 2008

Stochastic processes and financial applications参考文献 35被引用 3

一句话总结

本文建立了非凸控制域与控制相关扩散系数的前向-后向随机微分方程（FBSDEs）最优控制的一般随机最大值原理——此前为未解决的开放问题。通过引入作为测度值过程的松弛控制，并采用凸扰动方法而非尖刺变分法，作者推导出松弛控制与严格控制问题的全局必要与充分最优性条件，将经典随机最大值原理推广至非凸情形。

ABSTRACT

Stochastic maximum principle of nonlinear controlled forward-backward systems, where the set of strict (classical) controls need not be convex and the diffusion coefficient depends explicitly on the variable control, is an open problem impossible to solve by the classical method of spike variation. In this paper, we introduce a new approach to solve this open problem and we establish necessary as well as sufficient conditions of optimality, in the form of global stochastic maximum principle, for two models. The first concerns the relaxed controls, who are a measure-valued processes. The second is a restriction of the first to strict control problems.

研究动机与目标

• 解决控制域非凸且扩散系数显式依赖于控制时前向-后向随机系统的最优控制开放问题。
• 克服经典尖刺变分法在此类非凸、控制相关扩散设定下的失效问题。
• 提出一种新框架，利用松弛控制（概率测度值过程）恢复凸性，使凸扰动技术得以应用。
• 为松弛控制与严格控制问题推导出以全局随机最大值原理形式表示的必要与充分最优性条件。
• 通过从松弛控制条件推导严格控制条件，建立松弛控制与严格控制问题之间的桥梁。

提出的方法

• 引入一类新的松弛控制，即控制集U上的时间依赖概率测度，替代原本取值于U的严格控制。
• 在概率测度空间上采用稳定收敛拓扑定义松弛控制空间，确保更强的凸性结构。
• 对松弛控制应用凸扰动方法，而非尖刺变分法，从而推导出必要最优性条件。
• 定义松弛哈密顿函数与伴随方程，包括一组用于伴随过程（k, p, P）的后向SDE系统。
• 通过松弛哈密顿函数不等式推导必要最优性条件：对所有q_t ∈ P(U)，几乎必然有 H̃(t, x, y, z, μ_t, k, p, P) ≤ H̃(t, x, y, z, q_t, k, p, P)。
• 通过将松弛控制限制于狄拉克测度，恢复严格控制的最优性条件，利用δ-映射建立松弛与严格形式之间的联系。

实验结果

研究问题

• RQ1 当控制域非凸且扩散系数依赖于控制时，能否为前向-后向系统建立随机最大值原理？
• RQ2 为何经典尖刺变分法在此类非凸、控制相关扩散设定下会失效？
• RQ3 松弛控制空间的凸性是否能支持在经典方法失效时推导出必要与充分最优性条件？
• RQ4 如何从松弛控制的最优性条件推导出严格控制的最优性条件？
• RQ5 松弛哈密顿函数与伴随方程在该推广设定下表征最优控制时起何作用？

主要发现

• 为具有非凸控制域与控制相关扩散系数的前向-后向系统建立了通用的随机最大值原理，解决了长期存在的开放问题。
• 松弛控制的必要最优性条件由如下不等式给出：对所有q_t ∈ P(U)，几乎必然有 H̃(t, x, y, z, μ_t, k, p, P) ≤ H̃(t, x, y, z, q_t, k, p, P)。
• 对于严格控制，必要最优性条件为：对所有v_t ∈ U，几乎必然有 H(t, x^u, y^u, z^u, u_t, k^u, p^u, P^u) ≤ H(t, x^u, y^u, z^u, v_t, k^u, p^u, P^u)。
• 在g、h以及哈密顿函数H关于(x,y,z)凸的条件下，推导出严格控制的充分最优性条件，无需假设U或H关于v的凸性。
• 证明了若严格控制u满足必要条件(53)，则其可使成本泛函J在U上最小化，方法是将其与δ(U)上松弛成本的最小化相联系。
• 该框架通过利用松弛控制的凸结构，成功将经典随机最大值原理推广至非凸设定。