[论文解读] Infinite-Horizon Linear-Quadratic-Gaussian Control with Costly Measurements

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|Dec 29, 2020

Advanced Control Systems Optimization参考文献 25被引用 5

一句话总结

本文提出了一种针对具有高成本测量的无限时域线性二次高斯（LQG）控制的协同设计框架，联合优化控制与测量策略。文中分析刻画了最优控制为状态估计的线性函数，最优测量策略为与状态无关的周期性策略，其周期由系统动态特性与测量成本 O 决定。

ABSTRACT

In this paper, we consider an infinite horizon Linear-Quadratic-Gaussian control problem with controlled and costly measurements. A control strategy and a measurement strategy are co-designed to optimize the trade-off among control performance, actuating costs, and measurement costs. We address the co-design and co-optimization problem by establishing a dynamic programming equation with controlled lookahead. By leveraging the dynamic programming equation, we fully characterize the optimal control strategy and the measurement strategy analytically. The optimal control is linear in the state estimate that depends on the measurement strategy. We prove that the optimal measurement strategy is independent of the measured state and is periodic. And the optimal period length is determined by the cost of measurements and system parameters. We demonstrate the potential application of the co-design and co-optimization problem in an optimal self-triggered control paradigm. Two examples are provided to show the effectiveness of the optimal measurement strategy in reducing the overhead of measurements while keeping the system performance.

研究动机与目标

• 解决网络化控制系统中控制性能、执行成本与测量成本之间的权衡问题，其中传感与通信开销不可忽略。
• 在具有测量软惩罚项的无限时域LQG设置下，形式化控制与测量策略的协同优化问题。
• 解析刻画最优测量策略，克服以往在有限时域或连续时间设置下依赖数值解法的局限性。
• 展示该框架在资源受限环境（如物联网与无人系统）中适用于自触发控制与传感器调度的适用性。

提出的方法

• 使用带可控前瞻的动态规划方程，联合优化控制与测量决策。
• 将测量成本建模为仅在执行测量时产生的时不变标量 O，从而支持二值决策策略。
• 推导出值函数为 V(x) = x'Px + r，其中 P 满足修正的代数Riccati方程，r 用于表征估计与测量成本项。
• 证明最优测量策略为与当前状态无关的周期性策略，其周期 T* 由系统稳定性与成本 O 决定。
• 证明当系统矩阵 A 不稳定时，最优等待时间 T* 为有限值，确保估计误差不会无限增长。
• 利用Gelfand公式与谱分析，证明当 A 稳定时，估计误差协方差迹的和收敛，从而实现最优策略的解析刻画。

实验结果

研究问题

• RQ1 在具有高成本测量的无限时域LQG系统中，控制性能、执行成本与测量成本之间的最优权衡是什么？
• RQ2 如何将测量策略与控制策略协同设计，以在保持系统稳定性的同时最小化总成本？
• RQ3 在何种条件下最优策略为永不测量（即 T* = ∞），而在何种条件下必须周期性安排测量？
• RQ4 在每次测量具有固定成本 O 的前提下，测量的最优周期长度由什么决定？
• RQ5 是否能够解析刻画最优测量策略，而非依赖数值计算，特别是在系统稳定的情况下？

主要发现

• 最优控制策略为状态估计的线性函数，其依赖于测量策略，保持了标准LQG控制的结构特性。
• 最优测量策略为与当前状态无关的周期性策略，其周期长度由系统动态特性与测量成本 O 决定。
• 当系统矩阵 A 不稳定时，最优测量周期 T* 为有限值，确保估计误差不会无界增长。
• 当 A 稳定且测量成本 O 足够大时，最优策略为永不测量（T* = ∞），因为测量成本超过其收益。
• 值函数被解析刻画为 V(x) = x'Px + r，其中 P 满足修正的代数Riccati方程，r 包含估计与测量的长期成本。
• 当且仅当 A 的所有特征值模长严格小于 1 时，估计误差协方差的迹随时间的和收敛，从而确保估计过程的稳定性。