[论文解读] A Linear-Quadratic Optimal Control Problem for Mean-Field Stochastic Differential Equations

Jiongmin Yong|arXiv (Cornell University)|Oct 7, 2011

Stochastic processes and financial applications被引用 15

一句话总结

本文研究具有确定性系数的平均场随机微分方程的线性-二次最优控制问题。通过变分法和解耦技术，利用两个唯一可解的黎卡提方程，推导出最优控制的反馈表示，建立了同时涉及状态及其期望的闭环解。

ABSTRACT

A Linear-quadratic optimal control problem is considered for mean-field stochastic differential equations with deterministic coefficients. By a variational method, the optimality system is derived, which turns out to be a linear mean-field forward-backward stochastic differential equation. Using a decoupling technique, two Riccati differential equations are obtained, which are uniquely solvable under certain conditions. Then a feedback representation is obtained for the optimal control.

研究动机与目标

• 研究具有确定性系数的平均场随机微分方程（MF-SDEs）的最优控制问题。
• 推导线性-二次（LQ）控制问题在平均场框架下的必要与充分最优性条件。
• 通过黎卡提方程的解，建立最优控制的反馈表示。
• 将经典LQ控制理论扩展至包含状态和控制期望的动态与代价泛函的情形。

提出的方法

• 应用变分法推导最优性系统，得到一个线性平均场前向-后向随机微分方程（MF-FBSDE）。
• 采用解耦技术将MF-FBSDE转化为两个黎卡提微分方程。
• 在确保解的唯一性与正则性的条件下求解黎卡提方程。
• 基于状态过程及其期望，推导最优控制的反馈表示。
• 利用伊藤公式和基于期望的动态，处理SDE与代价泛函中的平均场项。
• 通过严格的随机分析，建立最优性系统与黎卡提方程之间的等价性。

实验结果

研究问题

• RQ1 对于由具有确定性系数的平均场SDE驱动的线性-二次问题，最优控制如何表征？
• RQ2 在平均场背景下，关联黎卡提方程的唯一性与可解性需满足何种条件？
• RQ3 能否推导出依赖于状态及其期望的最优控制的反馈表示？
• RQ4 在动态与代价泛函中引入状态与控制的期望，如何影响最优控制的结构？
• RQ5 解耦技术在将最优性系统转化为可解黎卡提方程中的作用是什么？

主要发现

• LQ问题的最优性系统被表征为一个线性平均场前向-后向随机微分方程。
• 通过解耦技术获得两个黎卡提微分方程，且在适当条件下证明了其唯一可解性。
• 最优控制具有反馈表示，其依赖于当前状态 $X(s)$ 及其期望 $\mathbb{E}[X(s)]$。
• 黎卡提方程的解提供了反馈控制律的系数，从而可显式计算最优控制。
• 反馈形式确保最优控制关于滤子适应，且可测于状态及其期望。
• 结果将经典LQ控制理论推广至平均场设定，通过期望项纳入系统性影响。