[论文解读] Entropy bounds on state estimation for stochastic non-linear systems under information constraints.

Christoph Kawan, Serdar Yüksel|arXiv (Cornell University)|Dec 2, 2016

Distributed Sensor Networks and Detection Algorithms被引用 4

一句话总结

本文建立了在信息约束下，针对随机非线性系统状态估计所需信道容量的基于熵的基本界。研究表明，对于许多系统——尤其是加性噪声模型——有限容量信道无法实现估计误差的几乎必然稳定或二次稳定，这意味着需要无穷大的最小容量 $ C_0 $，而无记忆噪声信道在系统噪声缺失时不会阻碍渐近估计。

ABSTRACT

This paper studies state estimation over noisy channels for stochastic non-linear systems. We consider three estimation objectives, a strong and a weak form of almost sure stability of the estimation error as well as quadratic stability in expectation. For all three objectives, we derive lower bounds on the smallest channel capacity $C_0$ above which the objective can be achieved with an arbitrarily small error. Lower bounds are obtained via a dynamical systems (through a novel construction of a dynamical system), an information-theoretic and a random dynamical systems approach. The first two approaches show that for a large class of systems, such as additive noise systems, $C_0 = \infty$, i.e., the estimation objectives cannot be achieved via channels of finite capacity. The random dynamical systems approach is shown to be operationally non-adequate for the problem, since it yields finite lower bounds $C_0$ under mild assumptions. Finally, we prove that a memoryless noisy channel in general constitutes no obstruction to asymptotic almost sure state estimation with arbitrarily small errors, when there is no noise in the system.

研究动机与目标

• 确定在噪声通信约束下，实现随机非线性系统稳定状态估计所需的最小信道容量 $ C_0 $。
• 分析三种估计目标：估计误差的几乎必然稳定（强形式与弱形式），以及期望下的二次稳定。
• 评估有限容量信道是否能在这些目标下支持任意小的估计误差。
• 比较三种分析方法的有效性：动力系统、信息论和随机动力系统。
• 评估当系统噪声缺失时，无记忆噪声信道是否会阻碍渐近状态估计。

提出的方法

• 采用一种新颖的动力系统构造方法，推导信道容量 $ C_0 $ 的下界，表明对于包括加性噪声模型在内的广泛系统类，$ C_0 = ∞ $。
• 应用信息论方法，建立 $ C_0 $ 的下界，确认在许多情况下有限容量信道无法实现估计目标。
• 采用随机动力系统方法，但表明在温和假设下其仅给出有限的 $ C_0 $ 界，因此对本问题而言在操作上不充分。
• 本文分析了信道记忆与噪声的作用，特别是证明当系统噪声为零时，无记忆噪声信道不会阻碍渐近几乎必然估计。
• 利用熵和互信息度量推导理论界，以量化稳定估计所需的信息流。
• 分析考虑了离散时间随机非线性系统，以及信道噪声对估计误差动态的影响。

实验结果

研究问题

• RQ1 在随机非线性系统中，实现估计误差几乎必然稳定的最小信道容量 $ C_0 $ 是多少？
• RQ2 有限容量信道是否能支持期望下二次稳定时的任意小估计误差？
• RQ3 为何随机动力系统方法在温和假设下产生有限的 $ C_0 $ 界，而这些界在操作上无效？
• RQ4 在何种条件下，无记忆噪声信道仍能实现渐近几乎必然状态估计？
• RQ5 加性噪声系统如何影响稳定估计所需的信道容量？

主要发现

• 对于包括加性噪声系统在内的大量随机非线性系统，所需的最小信道容量 $ C_0 $ 为无穷大，这意味着有限容量信道无法实现估计目标。
• 信息论方法与动力系统方法对加性噪声系统均得出 $ C_0 = ∞ $，表明存在根本的信息论极限。
• 随机动力系统方法在温和假设下产生有限的 $ C_0 $ 界，但这些界在操作上无效，因其与通过其他方法推导出的更强下界相矛盾。
• 当系统噪声缺失时，无记忆噪声信道不会阻碍实现任意小误差的渐近几乎必然估计。
• 本文确立了分析框架的选择显著影响所导出的下界，仅有两种方法得出有意义且非平凡的结果。
• 结果凸显了在随机非线性系统中，系统噪声、信道容量与估计稳定性之间存在根本性权衡。