[论文解读] Almost Sure Stabilization for Adaptive Controls of Regime-switching LQ Systems with A Hidden Markov Chain

Bernard Bercu, François Dufour+1 more|ArXiv.org|Jul 9, 2008

Stability and Controllability of Differential Equations参考文献 18被引用 3

一句话总结

本文建立了由隐藏马尔可夫链驱动的连续时间 regime-switching 线性二次（LQ）系统的自适应控制的几乎必然稳定性。通过构建适当的李雅普诺夫函数并利用非线性滤波（Wonham滤波器），证明了线性反馈控制可确保样本路径稳定性几乎必然成立，且在温和条件下，受控过程也被证明是正递归的。

ABSTRACT

This work is devoted to the almost sure stabilization of adaptive control systems that involve an unknown Markov chain. The control system displays continuous dynamics represented by differential equations and discrete events given by a hidden Markov chain. Different from previous work on stabilization of adaptive controlled systems with a hidden Markov chain, where average criteria were considered, this work focuses on the almost sure stabilization or sample path stabilization of the underlying processes. Under simple conditions, it is shown that as long as the feedback controls have linear growth in the continuous component, the resulting process is regular. Moreover, by appropriate choice of the Lyapunov functions, it is shown that the adaptive system is stabilizable almost surely. As a by-product, it is also established that the controlled process is positive recurrent.

研究动机与目标

• 解决在部分观测的 regime-switching LQ 系统自适应控制中缺乏样本路径（几乎必然）稳定性结果的问题。
• 将现有的基于平均矩的稳定性准则扩展至具有不可观测马尔可夫跳跃参数系统的样本路径稳定性。
• 建立线性反馈控制在具有线性增长时可确保几乎必然稳定性和正递归性。
• 对在部分观测和自适应控制下的受控过程提供严格的样本路径分析。
• 展示Wonham滤波器在实现隐藏马尔可夫系统自适应控制设计中的有效性。

提出的方法

• 使用由隐藏连续时间马尔可夫链调制的连续时间LQ系统。
• 应用Wonham滤波器估计未观测到的马尔可夫状态，从而实现自适应控制设计。
• 构建针对 regime-switching 结构量身定制的李雅普诺夫函数，以证明几乎必然稳定性。
• 采用非线性滤波和鞅技术分析估计误差和控制过程的行为。
• 利用局部鞅的强大数定律，证明归一化状态和控制项的收敛性。
• 建立二次变差的有界性和可积性条件，以确保样本路径稳定性。

实验结果

研究问题

• RQ1 在具有隐藏马尔可夫切换的LQ系统中，自适应控制策略能否确保几乎必然（样本路径）稳定性？
• RQ2 李雅普诺夫函数的选择如何影响具有未观测状态的 regime-switching 系统的稳定性分析？
• RQ3 Wonham滤波器在部分观测条件下实现自适应控制中起到什么作用？
• RQ4 在存在隐藏马尔可夫切换的情况下，受控过程在何种条件下是正递归的？
• RQ5 二阶矩稳定性准则与几乎必然稳定性准则在系统行为的含义上有什么不同？

主要发现

• 在连续状态中具有线性增长的线性反馈控制下，受控过程几乎必然稳定。
• 该系统是正递归的，几乎必然确保长期稳定性和对紧集的重复访问。
• 隐藏马尔可夫链的估计误差几乎必然收敛，从而实现有效的自适应控制。
• 归一化状态和控制过程几乎必然收敛至零，表明渐近稳定性。
• 估计误差鞅的二次变差几乎必然被时间的线性函数所有界。
• 使用针对马尔可夫切换结构量身定制的李雅普诺夫函数，可在温和条件下确保几乎必然稳定化。