[论文解读] Indefinite Stochastic Linear-Quadratic Optimal Control Problems with Random Coefficients: Closed-Loop Representation of Open-Loop Optimal Controls

Jingrui Sun, Jie Xiong+1 more|arXiv (Cornell University)|Sep 1, 2018

Stochastic processes and financial applications参考文献 25被引用 6

一句话总结

该论文建立了具有随机系数和不定加权矩阵的随机线性二次最优控制问题中开环最优控制的存在性与唯一性。通过希尔伯特空间方法，证明了代价泛函的一致凸性可确保关联的随机里卡蒂方程（SRE）唯一可解，并可通过状态反馈实现最优控制的闭环表示，将经典结果推广至非半正定加权矩阵的情形。

ABSTRACT

This paper is concerned with a stochastic linear-quadratic optimal control problem in a finite time horizon, where the coefficients of the control system are allowed to be random, and the weighting matrices in the cost functional are allowed to be random and indefinite. It is shown, with a Hilbert space approach, that for the existence of an open-loop optimal control, the convexity of the cost functional (with respect to the control) is necessary; and the uniform convexity, which is slightly stronger, turns out to be sufficient, which also leads to the unique solvability of the associated stochastic Riccati equation. Further, it is shown that the open-loop optimal control admits a closed-loop representation. In addition, some sufficient conditions are obtained for the uniform convexity of the cost functional, which are strictly general than the classical conditions that the weighting matrix-valued processes are positive (semi-)definite.

研究动机与目标

• 研究系数和加权矩阵为随机且可能不定的随机线性二次最优控制问题。
• 在随机且不定的代价泛函下，建立开环最优控制存在的必要与充分条件。
• 通过随机里卡蒂方程的解，推导开环最优控制的闭环表示。
• 通过引入一致凸性作为充分条件，推广经典凸性条件，使其可适用于非半正定（甚至不定）加权矩阵。
• 将理论扩展至多维布朗运动情形，证明最优控制的存在性及其反馈结构。

提出的方法

• 采用希尔伯特空间框架，分析在随机系数下代价泛函的凸性性质。
• 证明代价泛函的一致凸性足以保证随机里卡蒂方程（SRE）的唯一适应解。
• 通过SRE及其关联的伴随方程的解，推导开环最优控制的闭环表示。
• 应用伊藤公式和局部化方法，通过二次型将代价泛函与SRE解联系起来。
• 通过引入一致凸性条件，推广经典正定性条件，使其可适用于不定加权矩阵。
• 将框架扩展至d维布朗运动，推导出多维SRE及相应的反馈控制律。

实验结果

研究问题

• RQ1 在随机且不定的加权矩阵下，随机线性二次问题的开环最优控制在何种条件下存在？
• RQ2 当代价泛函具有一致凸性时，如何将开环最优控制表示为闭环（状态反馈）形式？
• RQ3 代价泛函的一致凸性与随机里卡蒂方程可解性之间有何关系？
• RQ4 是否可以在不破坏最优控制的存在性与反馈结构的前提下，放宽对加权矩阵的正定性假设？
• RQ5 该理论如何推广至多维布朗运动情形？此时SRE与反馈控制的形式如何？

主要发现

• 代价泛函的一致凸性是开环最优控制存在的必要且充分条件。
• 在一致凸性条件下，随机里卡蒂方程（SRE）存在唯一的适应解。
• 开环最优控制可通过SRE解的反馈律表示为闭环形式。
• 反馈控制律的形式为 $ u^*_{t,\xi}(s) = \Theta(s)X^*(s) $，其中 $ \Theta $ 由SRE的解导出。
• 一致凸性条件通过允许不定（不一定是半正定）加权矩阵，推广了经典结果。
• 在d维布朗运动情形下，SRE具有多个扩散项，且在相同一致凸性条件下，反馈控制仍保持关于状态的线性形式。