[论文解读] Characterization of Optimal Feedback for Stochastic Linear Quadratic Control Problems

Qi Lü, Tianxiao Wang+1 more|arXiv (Cornell University)|Feb 29, 2016

Stochastic processes and financial applications参考文献 24被引用 4

一句话总结

本文建立了随机系数下随机线性二次（SLQ）控制问题中最优反馈控制存在的条件与相应后向随机Riccati方程（BSRE）可解性之间的等价性。此外，本文揭示了与确定性情形的一个关键差异：即使SLQ问题可解，最优反馈控制也可能不存在，这通过一个反例得以说明——在所需空间中，反馈算子无法保持有界。

ABSTRACT

One of the fundamental issues in Control Theory is to design feedback controls. It is well-known that, the purpose of introducing Riccati equations in the deterministic case is to provide the desired feedback controls for linear quadratic control problems. To date, the same problem in the stochastic setting is only partially well-understood. In this paper, we establish the equivalence between the existence of optimal feedback controls for the stochastic linear quadratic control problems with random coefficients and the solvability of the corresponding backward stochastic Riccati equations in a suitable sense. We also give a counterexample showing the nonexistence of feedback controls to a solvable stochastic linear quadratic control problem. This is a new phenomenon in the stochastic setting, significantly different from its deterministic counterpart.

研究动机与目标

• 阐明随机系数下随机线性二次（SLQ）控制问题中存在最优反馈控制的条件。
• 建立最优反馈控制存在性与相应后向随机Riccati方程（BSRE）可解性之间的精确等价关系。
• 识别并解释随机与确定性LQ控制之间的根本差异：即使问题可解，反馈控制也可能不存在。
• 构造一个反例，表明可解的SLQ问题可能因反馈算子在所需函数空间中无界而无法存在最优反馈算子。

提出的方法

• 使用带随机系数的受控线性SDE和二次型代价泛函来形式化SLQ问题。
• 推导出包含Moore-Penrose广义逆的、与状态相关的后向随机Riccati方程（BSRE）。
• 引入反馈算子 Θ(t) = −(R + DᵀPD)⁻¹(BᵀP + Dᵀ(PC + Λ)) 作为候选最优反馈。
• 分析反馈算子在空间 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R}^{m\times n})) $ 中的可积性与有界性，以判断其可容许性。
• 通过奇异随机积分与停时构造反例，表明尽管问题可解，反馈算子仍可能无界。
• 应用Itô公式于随机过程的逆，以验证反例中BSRE的解。

实验结果

研究问题

• RQ1 在何种条件下，随机系数下的随机线性二次控制问题存在最优反馈控制？
• RQ2 后向随机Riccati方程（BSRE）的可解性是否足以且必要地保证随机情形下最优反馈控制的存在？
• RQ3 为何确定性情形下的原则——即Riccati方程可解即保证反馈控制存在——在随机情形下失效？
• RQ4 一个可解的随机LQ问题是否可能不接受任何最优反馈算子？若可能，其条件为何？

主要发现

• SLQ问题中最优反馈控制存在的充要条件，是相应后向随机Riccati方程（BSRE）在合适函数空间中的可解性。
• 反馈算子 Θ(t) 为最优当且仅当BSRE的解 (P, Λ) 满足 (P, Λ) ∈ $ L^{∞}_{\mathbb{F}}(0,T;\mathcal{S}(\mathbb{R}^{n})) \times L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathcal{S}(\mathbb{R}^{n}))) $。
• 构造了一个反例，其中SLQ问题可解，但所得反馈算子 Θ(t) = −Y(t)⁻¹Z(t) 不属于 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R})) $，因此不可容许。
• 该反例依赖于具有奇异漂移的随机积分与一个停时，导致解 Y(t) 有界但 Z(t) 不本质有界，从而违反反馈算子可积性条件。
• 本文指出，终点条件 G = Y(T)⁻¹ − 1/4 导致解满足 Λ(t) ∝ Z(t) 不属于 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R})) $，从而使反馈算子失效。
• 这揭示了一个根本性差异：与确定性情形不同，即使SLQ问题可解，也可能不存在任何最优反馈控制，其原因在于系数的随机性以及反馈算子缺乏有界性。