[论文解读] A general necessary and sufficient optimality conditions for singular control problems

Seïd Bahlali|ArXiv.org|Jan 28, 2008

Stochastic processes and financial applications被引用 3

一句话总结

本文通过一种新颖的一阶方法，建立了一类奇异随机控制问题的一般必要且充分最优性条件，避免了二阶展开。在控制域非凸、状态动态一般（控制同时进入漂移和扩散系数）的条件下，推导出仅使用一个伴随过程的广义随机最大值原理，适用于松弛型奇异控制与严格型奇异控制。

ABSTRACT

We consider a stochastic control problem where the set of strict (classical) controls is not necessarily convex and the the variable control has two components, the first being absolutely continuous and the second singular. The system is governed by a nonlinear stochastic differential equation, in which the absolutely continuous component of the control enters both the drift and the diffusion coefficients. By introducing a new approach, we establish necessary and sufficient optimality conditions for two models. The first concerns the relaxed-singular controls, who are a pair of processes whose first component is a measure-valued processes. The second is a particular case of the first and relates to strict-singular control problems. These results are given in the form of global stochastic maximum principle by using only the first order expansion and the associated adjoint equation. This improves and generalizes all the previous works on the maximum principle of controlled stochastic differential equations.

研究动机与目标

• 开发适用于非凸控制域的奇异随机控制问题的统一最优性框架。
• 通过引入测度值控制过程，将随机最大值原理扩展至松弛型奇异控制。
• 仅使用一阶展开建立必要且充分的最优性条件，避免使用二阶变分不等式。
• 通过消除对控制域或哈密顿函数在控制变量上的凸性假设，推广先前结果。
• 统一并改进现有严格型奇异与松弛型奇异控制问题的最大值原理公式。

提出的方法

• 通过用取值于 $\mathbb{P}(U_1)$ 的过程 $q_t$ 代替取值于 $U_1$ 的控制 $v_t$，引入一类新的松弛型奇异控制。
• 利用成本泛函的一阶展开及相应的伴随方程，定义哈密顿函数 $\mathcal{H}$。
• 通过在松弛控制上施加凸扰动，结合埃克兰德变分原理与稳定性性质，推导必要最优性条件。
• 通过求解终端条件与成本函数相关的倒向 SDE 的伴随过程 $\left(p_t, P_t\right)$，建立全局随机最大值原理。
• 利用 $\mathcal{H}$ 在 $\delta(U_1)$ 上的下确界在最优控制处取得的性质，确保必要条件成立。
• 在 $g$ 凸以及 $x \mapsto H(t,x,q,p,P)$ 凸的条件下，证明充分性，确保最优控制最小化成本泛函。

实验结果

研究问题

• RQ1 能否在不依赖二阶展开的前提下，为奇异随机控制问题推导出必要且充分的最优性条件？
• RQ2 如何将随机最大值原理扩展至非凸控制域下的松弛型奇异控制？
• RQ3 是否可能仅通过一阶分析，将严格型奇异与松弛型奇异控制问题统一于同一最优性框架之下？
• RQ4 确保最优性条件成立的控制域与哈密顿函数所需的最小假设是什么？
• RQ5 能否将伴随过程的数量从两个减少为一个，同时保持最大值原理的有效性？

主要发现

• 本文通过仅使用一阶展开，为松弛型奇异控制建立了必要且充分的最优性条件，形式为全局随机最大值原理。
• 最优性条件表达为 $\mathcal{H}(t,x_t^{(\mu,\xi)},\mu_t,p_t^{(\mu,\xi)},P_t^{(\mu,\xi)}) = \inf_{q_t \in \delta(U_1)} \mathcal{H}(t,x_t^{(\mu,\xi)},q_t,p_t^{(\mu,\xi)},P_t^{(\mu,\xi)})$ 几乎必然、几乎处处成立，确保最优控制使哈密顿函数最小化。
• 条件 $\mathbb{P}\left\{\sum_{i=1}^d \mathbf{1}_{\{k_i(t) + G_i^*(t)p_t^{(\mu,\xi)} \geq 0\}} d\xi_t^i = 0\right\} = 1$ 确保当无益处时奇异控制不会被激活。
• 本文证明，若哈密顿函数在 $\delta(U_1)$ 上取得最小值，且伴随过程满足必要条件，则最优控制 $ (u,\xi) $ 在 $ \mathcal{U} $ 上最小化成本泛函 $ J $。
• 与 Bahlali 和 Mezerdi (2006) 相比，本结果消除了对二阶展开和两个伴随过程的需求，降低了复杂度。
• 充分最优性条件无需假设 $ U_1 $ 或 $ H $ 在 $ v $ 上的凸性，因此适用于更广泛的问题类别。