[论文解读] Second Order Optimality Conditions for Optimal Control Problems of Stochastic Evolution Equations

Qi Lü, Haisen Zhang+1 more|arXiv (Cornell University)|Nov 18, 2018

Stochastic processes and financial applications参考文献 43被引用 3

一句话总结

本文为受无限维随机演化方程控制的随机最优控制问题建立了二阶最优性条件，其中控制同时影响漂移项和扩散项。通过引入算子值倒向随机演化方程的松弛解与V-转置解，作者推导出必要且充分的二阶最优性条件，强调了在二阶伴随方程中出现的校正项的关键作用，该术语在一阶庞特里亚金型原理中并不存在。

ABSTRACT

In this paper, we establish some second order necessary/sufficient optimality conditions for optimal control problems of stochastic evolution equations in infinite dimensions. The control acts on both the drift and diffusion terms and the control region is convex. The concepts of relaxed and $V$-transposition solutions (introduced in our previous works) to operator-valued backward stochastic evolution equations are employed to derive these optimality conditions. The correction part of the second order adjoint equation, which does not appear in the (first order) Pontryagin-type stochastic maximum principle, plays a fundamental role in our second order optimality conditions.

研究动机与目标

• 为无限维希尔伯特空间中的随机最优控制问题建立二阶必要与充分最优性条件。
• 填补控制依赖于扩散和漂移的随机演化方程在二阶分析方面的空白。
• 在二阶伴随方程中引入一个在一阶最大值原理中不存在的校正项。
• 将转置解理论扩展至算子值倒向随机演化方程，以实现二阶分析。
• 通过涉及成本泛函二阶变分的二次泛函条件，建立全局最优性。

提出的方法

• 采用松弛解与V-转置解处理算子值倒向随机演化方程（BSEEs）。
• 引入带有校正项的二阶伴随方程（6.9），该校正项源于哈密顿函数的二阶变分。
• 使用伊藤公式将成本差与二阶变分关联，从而导出控制扰动的二次泛函。
• 在 $L^2_{\mathbb{F}}(0,T;H_1)$ 上定义二次泛函 $\tilde{\Lambda}(\delta u)$，以刻画二阶充分条件。
• 建立二阶充分条件 $\tilde{\Lambda}(\delta u) \leq -\varrho\|\delta u\|^2$ 与二次型 $\Gamma^*R\Gamma + \Gamma^*M + N$ 正定性之间的等价性。
• 证明：若一阶条件 $\mathbb{E}\int_0^T \langle \mathbb{H}_u(t), u(t) - \bar{u}(t) \rangle_{H_1} dt \leq 0$ 成立且满足二阶条件，则该控制为全局最优。

实验结果

研究问题

• RQ1 在控制依赖于扩散项的无限维空间随机控制问题中，其二阶必要与充分最优性条件是什么？
• RQ2 与一阶庞特里亚金原理相比，二阶伴随方程中的校正项如何影响二阶最优性分析？
• RQ3 能否以容许控制空间上的二次泛函形式表述二阶充分条件？
• RQ4 在何种条件下，二阶条件可确保控制对的全局最优性？
• RQ5 松弛解与V-转置解如何在算子值BSEEs的背景下实现二阶条件的推导？

主要发现

• 二阶伴随方程（6.9）存在唯一的V-转置解 $(P, Q)$，这对推导二阶条件至关重要。
• 二阶伴随方程中的校正项（在一阶最大值原理中不存在）在二阶最优性条件中起着根本性作用。
• 二阶充分条件 $\tilde{\Lambda}(\delta u) \leq -\varrho\|\delta u\|^2$ 成立当且仅当二次泛函 $F(\delta u)$ 满足涉及 $\Gamma^*R\Gamma + \Gamma^*M + N$ 的特定正定性条件。
• 当一阶条件 $\mathbb{E}\int_0^T \langle \mathbb{H}_u(t), u(t) - \bar{u}(t) \rangle_{H_1} dt \leq 0$ 成立且二阶条件满足时，控制对 $(\bar{x}, \bar{u})$ 是唯一的全局极小化器。
• 通过强制性的二次型控制成本泛函的二阶变分，二阶条件确保了全局最优性。
• 二阶伴随方程（6.10）的解 $P$ 是确定性的，并由于 $B_1, B_2, N$ 的时间无关性，满足一个确定性的算子值演化方程。