[论文解读] A Linear-Quadratic Optimal Control Problem for Mean-Field Stochastic Differential Equations in Infinite Horizon

Jianhui Huang, Xun Li+1 more|arXiv (Cornell University)|Aug 27, 2012

Stochastic processes and financial applications参考文献 5被引用 6

一句话总结

本文研究了无限时间 horizon 上具有常系数的平均场随机微分方程的线性-二次最优控制问题。通过求解两个代数 Riccati 方程，建立了稳定化反馈控制律的存在性，最优控制以同时包含状态及其均值的线性状态反馈形式表达，并利用半定规划方法验证了可解性。

ABSTRACT

A linear-quadratic (LQ, for short) optimal control problem is considered for mean-field stochastic differential equations with constant coefficients in an infinite horizon. The stabilizability of the control system is studied followed by the discussion of the well-posedness of the LQ problem. The optimal control can be expressed as a linear state feedback involving the state and its mean, through the solutions of two algebraic Riccati equations. The solvability of such kind of Riccati equations is investigated by means of semi-definite programming method.

研究动机与目标

• 研究无限时间 horizon 上平均场随机微分方程的可稳定性和适定性。
• 推导涉及状态及其均值的反馈形式最优控制律。
• 利用半定规划技术建立相关代数 Riccati 方程的可解性。
• 通过 SDP 方法计算稳定化反馈增益和 Riccati 解，提供数值验证。

提出的方法

• 建立受控平均场 SDE，其中状态和控制系数依赖于状态和控制的期望值。
• 定义包含状态、其均值、控制及其均值的二次项的无限时域 LQ 费用泛函。
• 推导最优控制为线性反馈形式：$ u^*(t) = \Gamma^*(X^*(t) - \mathbb{E}[X^*(t)]) + \bar{\Gamma}^*\mathbb{E}[X^*(t)] $，反馈增益由两个代数 Riccati 方程的解导出。
• 通过线性矩阵不等式（LMI）系统的可行性建立 MF-L² 稳定性，重新表述为半定规划（SDP）问题。
• 利用 SDP 方法数值求解耦合代数 Riccati 方程（SARE），获得最优反馈矩阵。
• 通过数值实验验证方法，针对五维系统，利用 MATLAB 中的 SDP 求解器计算稳定化反馈增益和 Riccati 解。

实验结果

研究问题

• RQ1 在何种条件下，平均场随机控制系统在无限时域内是 MF-L² 稳定的？
• RQ2 无限时域 LQ 问题的最优控制能否以同时包含状态及其均值的线性反馈形式表达？
• RQ3 如何高效求解相关代数 Riccati 方程，且何种条件可确保其可解性？
• RQ4 可采用何种数值方法验证此类系统的可稳定性和计算最优反馈增益？

主要发现

• 最优控制被显式表达为同时包含状态及其均值的线性状态反馈形式，由两个代数 Riccati 方程的解导出。
• MF-L² 稳定性等价于线性矩阵不等式系统的可行性，该可行性通过半定规划方法验证。
• 数值实验确认了系统的可稳定性，通过 SDP 计算出可行矩阵 $ \mathbb{X}, \bar{\mathbb{X}}, Y, \bar{Y} $，得到稳定化反馈增益 $ K = Y\mathbb{X}^{-1} $ 和 $ \bar{K} = \bar{Y}\bar{\mathbb{X}}^{-1} $。
• 耦合代数 Riccati 方程（SARE）的解被数值计算得出，得到对称矩阵 $ P $ 和 $ \Pi $，这对最优控制律至关重要。
• 反馈增益 $ K $ 和 $ \bar{K} $ 被显式计算为 $ K \approx \begin{bmatrix}-0.3725 & 0.1843 & 0.3405 & -0.5390 & -0.1289 \\ 0.1689 & 0.5864 & 0.6700 & -0.8716 & -0.3709 \end{bmatrix} $ 和 $ \bar{K} \approx \begin{bmatrix}4.0644 & 1.2449 & -3.7655 & 1.9996 & -1.3936 \\ 4.2782 & 0.3405 & 0.6593 & 0.7858 & 0.2849 \end{bmatrix} $，确保系统稳定。
• SARE 的数值解为 $ P \approx \begin{bmatrix}0.4151 & 0.3890 & 0.2068 & 0.0162 & -0.4059 \\ 0.3890 & 2.7208 & 1.9097 & -2.6074 & -0.7756 \\ 0.2068 & 1.9097 & 1.8535 & -1.8330 & -0.8979 \\ 0.0162 & -2.6074 & -1.8330 & 4.2403 & -0.2665 \\ -0.4059 & -0.7756 & -0.8979 & -0.2665 & 2.1537 \end{bmatrix} $ 和 $ \Pi \approx \begin{bmatrix}0.6147 & 0.5721 & 0.2644 & -0.1455 & -0.6138 \\ 0.5721 & 4.2579 & 2.8706 & -4.4158 & -0.6536 \\ 0.2644 & 2.8706 & 2.6758 & -2.6653 & -1.0890 \\ -0.1455 & -4.4158 & -2.6653 & 6.8158 & -1.0674 \\ -0.6138 & -0.6536 & -1.0890 & -1.0674 & 3.1641 \end{bmatrix} $，证实了解的存在性。