[论文解读] Optimal Local and Remote Controllers with Unreliable Communication

Yi Ouyang, Seyed Mohammad Asghari+1 more|arXiv (Cornell University)|Jun 23, 2016

Stability and Control of Uncertain Systems参考文献 21被引用 4

一句话总结

本文针对通过不可靠丢包信道（带确认）由本地控制器和远程控制器协同管理的线性系统，提出了最优控制策略。基于公共信息方法，推导出显式最优策略：远程控制器对一个公共状态估计值线性作用，而本地控制器则在其实际状态与公共估计值的线性组合下制定控制律，从而在非部分嵌套结构下实现最优性能。

ABSTRACT

We consider a decentralized optimal control problem for a linear plant controlled by two controllers, a local controller and a remote controller. The local controller directly observes the state of the plant and can inform the remote controller of the plant state through a packet-drop channel. We assume that the remote controller is able to send acknowledgments to the local controller to signal the successful receipt of transmitted packets. The objective of the two controllers is to cooperatively minimize a quadratic performance cost. We provide a dynamic program for this decentralized control problem using the common information approach. Although our problem is not a partially nested LQG problem, we obtain explicit optimal strategies for the two controllers. In the optimal strategies, both controllers compute a common estimate of the plant state based on the common information. The remote controller's action is linear in the common estimated state, and the local controller's action is linear in both the actual state and the common estimated state.

研究动机与目标

• 解决具有不可靠通信和确认机制的网络化系统中的分散最优控制问题。
• 建立一个双控制器系统模型，其中本地控制器观测系统状态，并通过丢包信道向远程控制器通信。
• 在通信不完善和分散决策条件下，最小化二次性能代价。
• 推导出显式最优控制策略，尽管该问题不具备部分嵌套或二次不变性结构。

提出的方法

• 基于公共信息方法构建动态规划模型以表述问题。
• 将系统建模为线性时不变对象，包含两个控制器：本地控制器（观测状态）和远程控制器（通过延迟、不可靠反馈进行控制）。
• 引入一个二值随机变量 Γt 表示分组传输成功与否，确认机制使本地控制器能够获得反馈。
• 通过求解控制动作与估计更新的序列优化问题，推导出最优策略。
• 利用条件期望与协方差分解，将代价函数表示为公共信息的函数。
• 应用一个新颖引理，将优化问题解耦为估计子问题与控制子问题，从而获得显式解。

实验结果

研究问题

• RQ1 在具有不可靠通信和确认机制的双控制器网络化系统中，如何实现最优控制？
• RQ2 对于一个非部分嵌套或非二次不变的分散问题，能否推导出显式最优策略？
• RQ3 公共信息（双方共享的信息）在实现最优分散控制中起到何种作用？
• RQ4 当一个控制器具有完整状态观测，而另一个依赖于延迟且不可靠的反馈时，本地与远程控制器的策略有何不同？
• RQ5 当两个控制器必须在通信不确定性下协同工作时，最优控制律的结构是怎样的？

主要发现

• 最优远程控制器策略是基于共享信息计算出的公共状态估计值的线性函数。
• 最优本地控制器策略是其实际状态与公共估计状态的线性组合，尽管其拥有完整状态观测。
• 两个控制器均基于共享信息计算出对系统状态的共同估计，从而实现协调控制。
• 最优控制律通过动态规划与新颖的分解引理被显式推导得出。
• 该解即使在问题不具备部分嵌套或二次不变性结构的前提下依然成立，这是重要的理论贡献。
• 当未接收到新状态时，公共估计的递推更新公式为 X̂t+1 = A X̂t + B^L Ū^L* t + B^R Ū^R* t；当直接观测到状态时，更新公式为 X̂t+1 = Xt+1。