[论文解读] Optimal Infinite Horizon Decentralized Networked Controllers with Unreliable Communication

Yi Ouyang, Seyed Mohammad Asghari+1 more|arXiv (Cornell University)|Jun 18, 2018

Stability and Control of Uncertain Systems参考文献 56被引用 3

一句话总结

本文研究了具有不可靠上行链路通信的去中心化网络控制系统（DNCS）在无限时域下的最优控制问题。通过将DNCS的耦合Riccati递推与一个辅助马尔可夫跳跃线性系统（MJLS）关联，作者推导出链路故障概率的显式临界阈值：低于这些阈值时，存在稳态最优策略并确保均方稳定；高于这些阈值时，有限代价不可达。解以闭式最优控制律和基于系统动态与分组丢失率的稳定性条件表征。

ABSTRACT

We consider a decentralized networked control system (DNCS) consisting of a remote controller and a collection of linear plants, each associated with a local controller. Each local controller directly observes the state of its co-located plant and can inform the remote controller of the plant's state through an unreliable uplink channel. The downlink channels from the remote controller to local controllers were assumed to be perfect. The objective of the local controllers and the remote controller is to cooperatively minimize the infinite horizon time average of expected quadratic cost. The finite horizon version of this problem was solved in our prior work [2]. The optimal strategies in the finite horizon case were shown to be characterized by coupled Riccati recursions. In this paper, we show that if the link failure probabilities are below certain critical thresholds, then the coupled Riccati recursions of the finite horizon solution reach a steady state and the corresponding decentralized strategies are optimal. Above these thresholds, we show that no strategy can achieve finite cost. We exploit a connection between our DNCS Riccati recursions and the coupled Riccati recursions of an auxiliary Markov jump linear system to obtain our results. Our main results in Theorems 1 and 2 explicitly identify the critical thresholds for the link failure probabilities and the optimal decentralized control strategies when all link failure probabilities are below their thresholds.

研究动机与目标

• 解决在控制器间通信不可靠的网络化系统中设计无限时域去中心化控制器的挑战。
• 确定在间歇性上行链路分组丢失的情况下，有限代价控制在何种条件下可实现。
• 识别将可稳定化与不可稳定化区域分隔开的链路故障概率的显式阈值。
• 通过建立收敛至稳态解的机制，将先前的有限时域结果扩展至无限时域平均代价控制。

提出的方法

• 将DNCS建模为具有远程控制器和N个本地控制器的去中心化控制问题，其中上行链路不可靠，下行链路完美。
• 采用公共信息方法推导出由耦合Riccati递推表征的最优有限时域策略。
• 构建一个辅助马尔可夫跳跃线性系统（MJLS），其Riccati递推与DNCS的完全一致。
• 分析辅助MJLS的稳定性，以确定DNCS的Riccati递推收敛至稳态的条件。
• 证明当链路故障概率低于临界阈值时，稳态解可导出最优去中心化控制策略。
• 建立在满足阈值条件下，最优策略下闭环系统的均方稳定性。

实验结果

研究问题

• RQ1 在去中心化网络控制系统中，链路故障概率的临界阈值是什么？超过该阈值后，不存在有限代价控制策略？
• RQ2 在无限时域设置下，有限时域最优控制问题的耦合Riccati递推在何种条件下收敛至稳态？
• RQ3 如何将DNCS中不可靠通信链路的结构映射到一个辅助马尔可夫跳跃线性系统，以实现稳定性和最优性分析？
• RQ4 当链路故障概率低于临界阈值时，最优去中心化控制策略的显式形式是什么？
• RQ5 在存在不可靠上行链路的情况下，系统的均方稳定性如何依赖于分组丢失率和系统动态？

主要发现

• 仅当所有链路故障概率低于其各自临界阈值时，最优无限时域控制策略才存在，并由耦合Riccati递推的稳态解表征。
• 第n条链路的临界阈值为 $ p_n^c = \min\{p_n^s, p_n^d\} $，其中 $ p_n^s $ 取决于闭环系统动态的谱半径，$ p_n^d $ 取决于系统过程噪声。
• 当链路故障概率低于阈值时，最优控制律为 $ U_t^{0*} = K_0^* \hat{X}_t + \sum_{n=1}^N K_n^* (X_t - \hat{X}_t) $，其增益由稳态Riccati解导出。
• 当所有 $ p_n < p_n^c $ 时，闭环系统在最优策略下保持均方稳定，确保长期性能边界。
• 若本地控制器仅为传感器（即 $ B_{nn} = 0 $），则阈值条件简化为每个系统满足 $ \rho(A) < 1/\sqrt{p_n} $，以保证稳定性。
• 超过临界阈值后，任何控制策略均无法实现有限平均代价，导致系统在给定性能准则下不可控。