[论文解读] Generalized Measures of Information Transfer

Paul L. Williams, Randall D. Beer|arXiv (Cornell University)|Feb 8, 2011

Neural dynamics and brain function参考文献 2被引用 56

一句话总结

本文通过将转移熵分解为与状态无关和与状态相关的分量，进一步将之扩展至多变量系统，以量化独特的、冗余的和协同的信息转移。其主要贡献是一个正式框架，利用部分信息分解（partial information decomposition）区分信息转移的类型（而不仅仅是大小和方向），并应用于控制理论和生理系统。

ABSTRACT

Transfer entropy provides a general tool for analyzing the magnitudes and directions---but not the \emph{kinds}---of information transfer in a system. We extend transfer entropy in two complementary ways. First, we distinguish state-dependent from state-independent transfer, based on whether a source's influence depends on the state of the target. Second, for multiple sources, we distinguish between unique, redundant, and synergistic transfer. The new measures are demonstrated on several systems that extend examples from previous literature.

研究动机与目标

• 为解决转移熵无法区分信息转移类型（如影响是否与状态相关）的局限性。
• 通过量化多个源的独有、冗余和协同贡献，将转移熵扩展至多变量系统。
• 形式化信息论度量与控制理论概念（如开环与闭环控制）之间的关系。
• 提供一个全面框架，用于表征不仅转移了多少信息，还表征了转移信息的类型，特别是在复杂系统中。

提出的方法

• 使用 Williams 和 Beer（2010）提出的部分信息（PI）分解，将总信息分离为独有、冗余和协同分量。
• 将与状态无关的转移熵（SITE）定义为不依赖于目标状态的信息转移，通过仅对源进行条件化推导得出。
• 将与状态相关的转移熵（SDTE）定义为依赖于目标当前状态的信息转移，通过去除SITE后的残差推导得出。
• 将PI分解应用于多个源对目标的联合影响，使用最小熵和最大熵度量来量化冗余与协同。
• 利用Kullback-Leibler散度表征SDTE消失的条件，将其与无状态相关影响相联系。
• 在模型系统和真实生理数据（如心率与呼吸频率）上验证该框架，通过叠加的转移熵值展示状态相关影响。

实验结果

研究问题

• RQ1 如何将转移熵分解为与状态无关和与状态相关的分量？
• RQ2 所提出的广义度量与控制理论概念（如开环与闭环控制）之间的正式关系是什么？
• RQ3 如何将来自多个源的信息转移分解为独有、冗余和协同贡献？
• RQ4 该框架在多大程度上改善了对信息转移的解释，超越了大小与方向？
• RQ5 该框架能否检测并量化真实生理系统（如心率与呼吸频率之间）中的状态相关影响？

主要发现

• 与状态无关的转移熵（SITE）在形式上等价于开环控制，且完美的SITE对应于最大开环可控性。
• 当且仅当源对目标的影响与目标的当前状态无关时，与状态相关的转移熵（SDTE）消失，这由马尔可夫转移模型中的条件独立性定义。
• 在生理系统中，发现心率对呼吸频率仅施加与状态相关的单向影响，当胸腔容积处于低或高时转移熵最高，而在平均值附近时影响最小。
• 该框架成功利用PI分解结合最小熵和最大熵度量，将多变量信息转移分解为独有、冗余和协同分量。
• 理论分析表明，SDTE为零当且仅当条件分布 $ p(x'|x,c) $ 既与 $ x $ 无关，也与 $ c $ 无关，这定义了无状态相关影响的情形。
• 所提出的度量使得信息转移的表征更加丰富，不仅可区分转移了多少信息，还可区分其功能形式——例如，是否依赖于目标的状态，或是否为纯粹预测性影响。