[论文解读] Mean-Field Stochastic Linear Quadratic Optimal Control Problems: Closed-Loop Solvability

Xun Li, Jingrui Sun+1 more|arXiv (Cornell University)|Feb 25, 2016

Stochastic processes and financial applications参考文献 13被引用 4

一句话总结

本文通过刻画耦合广义Riccati方程的可解性以及线性倒向SDE和终端ODE解的约束条件，建立了均值场随机线性二次（LQ）最优控制问题的闭环可解性。关键贡献在于，以这些方程及其辅助约束的正则解为条件，给出了闭环可解性的必要且充分条件。

ABSTRACT

An optimal control problem is studied for a linear mean-field stochastic differential equation with a quadratic cost functional. The coefficients and the weighting matrices in the cost functional are all assumed to be deterministic. Closed-loop strategies are introduced, which require to be independent of initial states; and such a nature makes it very useful and convenient in applications. In this paper, the existence of an optimal closed-loop strategy for the system (also called the closed-loop solvability of the problem) is characterized by the existence of a regular solution to the coupled two (generalized) Riccati equations, together with some constraints on the adapted solution to a linear backward stochastic differential equation and a linear terminal value problem of an ordinary differential equation.

研究动机与目标

• 建立均值场随机线性二次最优控制问题中闭环可解性的必要且充分条件。
• 刻画与初始状态无关的最优闭环策略，以增强在实际系统中的适用性。
• 通过引入状态和控制过程的期望项，将经典LQ理论扩展至均值场SDE。
• 解决具有确定性系数的基于MF-SDE的LQ问题在可解性方面的基本挑战。
• 为金融、风险管理及投资组合优化等应用提供理论基础。

提出的方法

• 引入与初始状态无关的闭环策略，确保其在实际中的可实施性。
• 推导出两个广义Riccati方程（GREs）的耦合系统，作为闭环可解性的核心条件。
• 对线性倒向随机微分方程（BSDE）的适应解和终端值ODE的解施加约束。
• 使用验证定理表明，最优控制由GREs解的反馈形式给出。
• 应用随机最大值原理和对偶论证，推导出最优性的必要条件。
• 建立闭环可解性与耦合GREs及其辅助约束的正则解存在的等价关系。

实验结果

研究问题

• RQ1 在何种条件下，均值场随机LQ最优控制问题允许存在闭环最优策略？
• RQ2 如何以与初始状态无关的反馈形式表达最优控制？
• RQ3 广义Riccati方程在确保闭环可解性中起什么作用？
• RQ4 对BSDE和ODE解施加的约束如何影响问题的可解性？
• RQ5 闭环可解性与耦合GREs的正则解之间存在何种关系？

主要发现

• MF-LQ问题的闭环可解性等价于耦合广义Riccati方程存在正则解。
• 最优闭环策略由涉及GREs解的反馈律给出，确保对状态和期望的依赖性。
• 对BSDE和ODE解施加的辅助约束是闭环策略最优性的必要条件。
• 当不存在确定性漂移项和噪声项时，闭环可解性简化为仅需GREs的常规可解性。
• 价值函数可通过GREs的解和辅助过程显式表示。
• 证明依赖于一个验证论证，该论证通过成本泛函与GREs解之间的一个恒等式，表明了反馈策略的最优性。