[论文解读] Linear Quadratic Optimal Control and Stabilization for Discrete-time Markov Jump Linear Systems

Chunyan Han, Hongdan Li+2 more|arXiv (Cornell University)|Mar 14, 2018

Stability and Control of Uncertain Systems参考文献 19被引用 6

一句话总结

本文提出了有限时域离散时间马氏跳跃线性系统（MJLS）最优控制器存在的充要条件，该条件由耦合差分Riccati方程（CDRE）导出，并通过关联耦合代数Riccati方程（CARE）解的唯一正定解的存在性，建立了无限时域MJLS均方稳定的充要条件。关键贡献在于提出了一种可验证的、基于正定性的稳定化准则，无需依赖可检测性假设。

ABSTRACT

This paper mainly investigates the optimal control and stabilization problems for linear discrete-time Markov jump systems. The general case for the finite-horizon optimal controller is considered, where the input weighting matrix in the performance index is just required to be positive semi-definite. The necessary and sufficient condition for the existence of the optimal controller in finite-horizon is given explicitly from a set of coupled difference Riccati equations (CDRE). One of the key techniques is to solve the forward and backward stochastic difference equation (FDSDE) which is obtained by the maximum principle. As to the infinite-horizon case, we establish the necessary and sufficient condition to stabilize the Markov jump linear system in the mean square sense. It is shown that the Markov jump linear system is stabilizable under the optimal controller if and only if the associated couple algebraic Riccati equation (CARE) has a unique positive solution. Meanwhile, the optimal controller and optimal cost function in infinite-horizon case are expressed explicitly.

研究动机与目标

• 解决仅要求输入加权矩阵为半正定的离散时间马氏跳跃线性系统有限时域最优控制问题。
• 利用耦合差分Riccati方程（CDRE）推导有限时域情况下最优控制器存在的必要和充分条件。
• 建立无限时域情况下MJLS均方可稳定性的必要和充分条件。
• 提供一种仅基于CARE解存在正定解的易于验证的稳定化准则，无需依赖可检测性假设。
• 在无限时域情况下显式表达最优控制器和最优代价函数。

提出的方法

• 采用正半定输入加权的性能指标来表述最优控制问题，推广了先前要求正定加权的成果。
• 应用随机最大值原理，推导出前向-后向随机差分方程（FDSDE），并求解以获得最优控制律。
• 将耦合差分Riccati方程（CDRE）作为有限时域最优控制存在性的必要和充分条件。
• 确立耦合代数Riccati方程（CARE）作为无限时域稳定性的关键方程，将最优控制器与CARE解联系起来。
• 证明均方可稳定性的充要条件是CARE存在唯一正定解，从而消除了对弱可检测性假设的需求。
• 通过数值仿真验证理论结果，展示Riccati系数、最优状态轨迹和控制输入随时间的收敛性。

实验结果

研究问题

• RQ1 对于仅要求输入加权矩阵为半正定的离散时间MJLS有限时域最优控制问题，最优控制器存在的必要和充分条件是什么？
• RQ2 在无限时域情况下，MJLS的最优控制器和代价函数如何显式表达？
• RQ3 在无限时域设置下，MJLS均方可稳定性的必要和充分条件是什么？
• RQ4 是否可以不依赖弱可检测性等可检测性概念来表述稳定化条件？
• RQ5 如何在实践中利用耦合代数Riccati方程（CARE）的解来验证稳定化性？

主要发现

• 有限时域最优控制器存在的必要和充分条件是耦合差分Riccati方程（CDRE）的可解性，该条件通过最大值原理及前向-后向随机差分方程的求解得以确立。
• 在无限时域情况下，系统均方可稳定当且仅当关联的耦合代数Riccati方程（CARE）存在唯一正定解。
• 无限时域情况下最优控制器为 $ u(k) = -\Upsilon_i^{-1}M_i x(k) $，最优代价为 $ J^* = \mathbb{E}\{x_0^\prime P_{\theta(0)}x_0\} $，其显式由CARE解导出。
• 所提出的稳定化条件既必要又充分，且可通过检查CARE解的正定性来轻松验证，与以往需进行复杂可检测性检验的方法不同。
• 针对二阶系统与两模马氏链的数值仿真验证了Riccati系数的收敛性，以及最优控制与状态轨迹的有效性。
• 本研究通过去除正定输入加权和弱可检测性等限制性假设，推广了先前工作，提供了更具实际意义且计算上可测试的准则。