[论文解读] A Complete Solution to Optimal Control and Stabilization for Mean-field Systems: Part I, Discrete-time Case

Huanshui Zhang, Qingyuan Qi|arXiv (Cornell University)|Aug 23, 2016

Stability and Control of Uncertain Systems参考文献 11被引用 4

一句话总结

本文通过一种新颖的最大值原理和前向-后向随机差分方程（FBSDEs），为离散时间均场线性二次（LQ）最优控制与稳定化问题提供了完整的解析解。它以显式Riccati形式推导出充分必要可解性条件，并通过耦合代数Riccati方程（AREs）建立了精确的稳定化准则，解决了以往基于算子型条件在验证与完备性方面长期存在的缺陷。

ABSTRACT

Different from most of the previous works, this paper provides a thorough solution to the fundamental problems of linear-quadratic (LQ) control and stabilization for discrete-time mean-field systems under basic assumptions. Firstly, the sufficient and necessary condition for the solvability of mean-field LQ control problem is firstly presented in analytic expression based on the maximum principle developed in this paper, which is compared with the results obtained in literatures where only operator type solvability conditions were given. The optimal controller is given in terms of a coupled Riccati equation which is derived from the solution to forward and backward stochastic difference equation (FBSDE). Secondly, the sufficient and necessary stabilization conditions are explored. It is shown that, under exactly observability assumption, the mean-field system is stabilizable in mean square sense if and only if a coupled algebraic Riccati equation (ARE) has a unique solution $P$ and $\bar{P}$ satisfying $P>0$ and $P+\bar{P}>0$. Furthermore, under the exactly detectability assumption, which is a weaker assumption than exactly observability, we show that the mean-field system is stabilizable in mean square sense if and only if the coupled ARE has a unique solution $P$ and $\bar{P}$ satisfying $P\geq 0$ and $P+\bar{P}\geq 0$. The key techniques adopted in this paper are the maximum principle and the solution to the FBSDE obtained in this paper. The derived results in this paper forms the basis to solve the mean-field control problem for continuous-time systems and other related problems.

研究动机与目标

• 在基本假设下，为离散时间均场LQ最优控制问题提供一个完整且解析明确的解。
• 克服以往研究依赖于难以验证的算子型可解性条件的局限性。
• 为均场系统在均方意义下的无限时域问题建立充分必要稳定化条件。
• 通过将标准LQ控制结果推广至均场系统，统一均场控制的理论框架。
• 为求解连续时间均场控制问题及相关课题奠定基础。

提出的方法

• 推导出适用于离散时间均场LQ控制的新最大值原理，实现最优性条件的直接推导。
• 求解耦合的前向与后向随机差分方程（FBSDEs），以表达最优控制器。
• 基于FBSDE解构造一个耦合Riccati方程组，确保其结构与经典LQ控制相似。
• 基于最优代价函数应用李雅普诺夫函数分析，研究无限时域收敛性。
• 引入两个关键假设：精确可观察性与精确可检测性，以推导稳定化条件。
• 采用矩阵分解与变换技术，将系统解耦为可观测与不可观测子空间，以进行稳定性分析。

实验结果

研究问题

• RQ1 离散时间均场LQ控制问题的充分必要可解性条件在显式解析形式下是什么？
• RQ2 如何通过FBSDE导出的Riccati方程显式构造最优控制器？
• RQ3 在无限时域问题中，均场系统在何种条件下可实现均方意义下的稳定化？
• RQ4 在精确可观察性与较弱的精确可检测性假设下，稳定化条件有何不同？
• RQ5 耦合ARE的解与闭环系统稳定性之间存在何种关系？

主要发现

• 通过新最大值原理推导出，均场LQ控制问题的可解性由一个充分必要条件表征，且以显式解析形式呈现。
• 最优控制器通过FBSDE解导出的耦合Riccati方程组表达。
• 在精确可观察性假设下，系统当且仅当耦合ARE存在唯一解(P, P̄)，且满足P > 0与P + P̄ > 0时，可实现均方稳定化。
• 在较弱的精确可检测性假设下，系统可稳定化当且仅当耦合ARE存在唯一解，且满足P ≥ 0与P + P̄ ≥ 0。
• 结果与经典LQ控制理论平行，其关键优势在于权重矩阵Rk与Rk + R̄k仅需半正定即可。
• 耦合Riccati方程的收敛性分析确保了无限时域问题下稳定控制器的存在性。