[论文解读] Control Capacity of Partially Observable Dynamic Systems in Continuous Time

Stas Tiomkin, Daniel Polani+1 more|arXiv (Cornell University)|Jan 18, 2017

Bayesian Modeling and Causal Inference参考文献 12被引用 14

一句话总结

本文提出了一种高效方法，用于计算连续时间、线性、部分可观测高斯系统中的控制到状态信息容量（赋能能力）。研究揭示，只有过去有限时间窗口的控制信号对未来的状态控制有显著贡献，其容量受系统时间常数限制，并通过可控性 Gramian 矩阵谱分解上的水填塞过程进行调控。

ABSTRACT

Stochastic dynamic control systems relate in a prob- abilistic fashion the space of control signals to the space of corresponding future states. Consequently, stochastic dynamic systems can be interpreted as an information channel between the control space and the state space. In this work we study this control-to-state informartion capacity of stochastic dynamic systems in continuous-time, when the states are observed only partially. The control-to-state capacity, known as empowerment, was shown in the past to be useful in solving various Artificial Intelligence & Control benchmarks, and was used to replace problem-specific utilities. The higher the value of empowerment is, the more optional future states an agent may reach by using its controls inside a given time horizon. The contribution of this work is that we derive an efficient solution for computing the control-to-state information capacity for a linear, partially-observed Gaussian dynamic control system in continuous time, and discover new relationships between control-theoretic and information-theoretic properties of dynamic systems. Particularly, using the derived method, we demonstrate that the capacity between the control signal and the system output does not grow without limits with the length of the control signal. This means that only the near-past window of the control signal contributes effectively to the control-to-state capacity, while most of the information beyond this window is irrelevant for the future state of the dynamic system. We show that empowerment depends on a time constant of a dynamic system.

研究动机与目标

• 将赋能概念从先前研究的离散时间与离散状态扩展至连续时间、连续状态的动力系统。
• 在连续时间动力学下，为线性、部分可观测、高斯系统推导出控制到状态信息容量的高效解析解。
• 揭示系统时间常数、控制信号历史与由此产生的信息容量之间的关系。
• 证明只有控制信号的有限历史窗口对未来的状态可控性有贡献，挑战了无限记忆依赖的假设。
• 通过可控性 Gramian 矩阵的谱分解与迭代水填塞算法，提供一种计算上可行的框架，用于最优控制方差分配。

提出的方法

• 将动态系统建模为控制输入与系统输出之间的随机信息通道，采用连续时间高斯过程。
• 通过可控性 Gramian 矩阵的谱分解，推导控制与最终状态之间的互信息，避免显式展开控制函数。
• 从 Gramian 矩阵的特征分解引入“z-向量”，以表示状态空间中有效控制方向。
• 应用水填塞算法，计算控制过程双正交展开中各分量的最优方差，以最大化互信息。
• 利用 Lyapunov 方程与系统稳定性特性，刻画赋能能力对时间常数的依赖关系。
• 证明最大容量并非由无限长的控制历史实现，而是由系统动力学决定的有限有效时间窗口决定。

实验结果

研究问题

• RQ1 如何在连续时间线性动态系统中高效计算信息论意义的控制容量（赋能能力）？
• RQ2 系统时间常数在决定对未来的状态可控性有贡献的控制信号历史有效长度方面起什么作用？
• RQ3 随着控制信号持续时间增加，控制到状态的容量是否会无限制增长，还是受系统动力学限制？
• RQ4 是否可以在不显式参数化完整控制信号函数空间的情况下，计算部分可观测系统的赋能能力？
• RQ5 可控性 Gramian 矩阵的谱特性如何与连续时间中控制信号方差的最优分配相关联？

主要发现

• 在连续时间线性系统中，控制到状态的信息容量是有限的，不会随控制信号持续时间的增加而无限增长。
• 只有由系统时间常数决定的有限时间窗口的过去控制信号，对未来的状态可控性有有效贡献。
• 即使系统时间常数 τ 趋近于零，赋能能力仍保持非零，这是由于互信息表达式中 Gramian 比值存在有限极限。
• 通过在可控性 Gramian 矩阵谱分量上迭代应用水填塞过程，可高效计算正交控制模式间最优的控制方差分配。
• 该解法避免了显式构造控制信号基函数，转而依赖 Gramian 矩阵的谱分解与 z-向量。
• 所推导的框架可通过利用控制过程双正交展开中的自由度，实现对能量与复杂度受限控制系统的有效设计。