[论文解读] Fundamental Inequalities and Identities Involving Mutual and Directed Informations in Closed-Loop Systems

Milan S. Derpich, Eduardo I. Silva+1 more|arXiv (Cornell University)|Jan 28, 2013

stochastic dynamics and bifurcation参考文献 36被引用 10

一句话总结

本文仅基于因果性约束，建立了通用闭环系统中互信息与有向信息之间基本不等式与恒等式。通过有向信息受外部互信息有界的途径，证明了信息流的守恒律，从而为具有非线性、时变及随机组件、且信号分布任意的反馈系统，建立了新的数据处理不等式。

ABSTRACT

We present several novel identities and inequalities relating the mutual information and the directed information in systems with feedback. The internal blocks within such systems are restricted only to be causal mappings, but are allowed to be non-linear, stochastic and time varying. Moreover, the involved signals can be arbitrarily distributed. We bound the directed information between signals inside the feedback loop by the mutual information between signals inside and outside the feedback loop. This fundamental result has an interesting interpretation as a law of conservation of information flow. Building upon it, we derive several novel identities and inequalities, which allow us to prove some existing information inequalities under less restrictive assumptions. Finally, we establish new relationships between nested directed informations inside a feedback loop. This yields a new and general data-processing inequality for systems with feedback.

研究动机与目标

• 推导具有任意信号分布的反馈系统中互信息与有向信息之间的一般关系。
• 在闭环系统中建立信息流守恒律，将内部有向信息与外部互信息相联系。
• 在更弱假设下（包括非线性、时变及随机系统模块）推广现有信息不等式。
• 为反馈回路中嵌套有向信息建立新的数据处理不等式。
• 提供一个适用于任意分布和因果映射的框架，无需线性或平稳性假设。

提出的方法

• 使用条件互信息的链式法则，并构建新的马尔可夫链以推导界。
• 应用有向信息的定义，即因果条件互信息之和：$ I(x^k \to y^k) = \sum_{i=1}^k I(y(i); x^i | y^{i-1}) $。
• 推导一个关键不等式：$ I(x^k \to y^k) \leq I(r^k; y^k) $，其中 $ r $ 为回路外的外源信号。
• 在一个具有独立外源输入的双模块反馈系统中，建立马尔可夫链 $ r^k \leftrightarrow (u^k, y^k) \leftrightarrow q^k $。
• 利用因果映射的结构，证明信息流受外部依赖关系的约束。
• 将数据处理不等式推广至反馈回路中的嵌套有向信息，表明距离越远的信号，其有向信息越低。

实验结果

研究问题

• RQ1 在具有非线性、时变及随机组件的一般反馈系统中，如何关联有向信息与互信息？
• RQ2 在具有反馈的闭环系统中，支配信息流的根本守恒律是什么？
• RQ3 能否利用该框架在更弱假设下证明现有信息不等式？
• RQ4 反馈回路内部信号之间的有向信息与外部信号之间有何关系？
• RQ5 反馈系统中嵌套有向信息的广义数据处理不等式具有何种结构？

主要发现

• 一个基本不等式将反馈回路中内部信号的有向信息限制于外源信号与内部信号之间互信息的范围内：$ I(x^k \to y^k) \leq I(r^k; y^k) $。
• 该不等式意味着信息流守恒律，即进入回路的总信息流受外部依赖关系的约束。
• 在具有独立外源输入的双模块反馈系统中，马尔可夫链 $ r^k \leftrightarrow (u^k, y^k) \leftrightarrow q^k $ 成立，从而可导出新的信息论界。
• 该结果适用于任意信号分布、非线性、时变及随机系统模块，仅需满足因果性且环路延迟≥1个采样点。
• 建立了新的广义数据处理不等式，表明有向信息随反馈回路中分离程度的增加而减小。
• 该框架允许在更宽松的假设下重新证明现有不等式，例如非线性或非平稳系统。