[论文解读] Beyond integrated information: A taxonomy of information dynamics phenomena

Pedro A. M. Mediano, Fernando E. Rosas+3 more|arXiv (Cornell University)|Sep 5, 2019

Cognitive Science and Education Research参考文献 5被引用 31

一句话总结

本文提出了整合信息分解（ΦID），一种新颖的框架，通过部分信息分解（PID）将多变量信息动力学分解为冗余、独特和协同成分。该研究揭示了传统整合信息度量将不同动力学现象混淆在一起，提供了一个分类体系，澄清了信息流的异质性模式，并实现了对大脑或气候网络等系统中动力学复杂性的更精确、更定制化的评估。

ABSTRACT

Most information dynamics and statistical causal analysis frameworks rely on the common intuition that causal interactions are intrinsically pairwise -- every 'cause' variable has an associated 'effect' variable, so that a 'causal arrow' can be drawn between them. However, analyses that depict interdependencies as directed graphs fail to discriminate the rich variety of modes of information flow that can coexist within a system. This, in turn, creates problems with attempts to operationalise the concepts of 'dynamical complexity' or `integrated information.' To address this shortcoming, we combine concepts of partial information decomposition and integrated information, and obtain what we call Integrated Information Decomposition, or $Φ$ID. We show how $Φ$ID paves the way for more detailed analyses of interdependencies in multivariate time series, and sheds light on collective modes of information dynamics that have not been reported before. Additionally, $Φ$ID reveals that what is typically referred to as 'integration' is actually an aggregate of several heterogeneous phenomena. Furthermore, $Φ$ID can be used to formulate new, tailored measures of integrated information, as well as to understand and alleviate the limitations of existing measures.

研究动机与目标

• 解决现有信息动力学框架将复杂相互作用简化为成对因果关系的局限性。
• 开发超越单一维度度量（如整合信息Φ）的多维动力学复杂性表征。
• 解耦共存于多变量时间序列中的异质性信息流模式——冗余、独特和协同。
• 揭示传统度量（如Φ、因果密度CD和ψ）如何混淆定性上不同的信息动力学现象。
• 提供一个形式化、公理化的框架，将整合信息分解为其组成的信息原子，以提升可解释性和测量精度。

提出的方法

• 结合部分信息分解（PID）与整合信息理论，构建新框架ΦID，用于分解多变量随机动力系统中的信息流。
• 应用PID将过去到未来状态的总信息转移（过剩熵）分解为16种不同的信息原子，代表冗余、独特性和协同性的组合。
• 利用PID的公理结构定义非负、有上界且部分有序的信息原子，确保数学一致性与可解释性。
• 推导出现有整合信息度量（如CD、ψ、ΦWMS、ΦG）在ΦID原子中的解析表达式，揭示其如何聚合不同的信息模式。
• 采用最大熵投影方法与约束格结构，数值计算信息论量，以最小化高维系统中的数值不稳定性。
• 通过合成系统验证框架，包括具有可控噪声相关性的噪声与门（c），展示ΦID如何揭示反直觉行为，如全减和Φ为负值。

实验结果

研究问题

• RQ1 我们如何形式化地将多变量信息动力学分解为超越成对因果关系的独立、可解释的组成部分？
• RQ2 现有的一维整合信息度量（如Φ、CD、ψ）在多大程度上混淆了不同质的信息流模式？
• RQ3 我们能否识别并分离出构成复杂系统中观测到的动力学复杂性的特定信息组分——冗余、独特、协同？
• RQ4 为何整合信息的'整体减去总和'公式会产生负值？这又对底层信息动力学意味着什么？
• RQ5 我们如何构建新的、量身定制的整合信息度量，以针对特定的信息流模式，而非将其聚合为单一标量？

主要发现

• ΦID成功地将信息动力学分解为16种不同的信息原子，为多变量系统中信息的存储、转移与修改提供了完整分类体系。
• 该框架揭示，传统Φ所测量的“整合”并非单一现象，而是冗余、独特与协同成分的聚合，而这些成分在现有度量中常被混淆。
• 对于具有相关噪声（c=1）的噪声与门系统，ΦG = 0，表明无整合信息，尽管存在非零的协同与冗余，说明协同存在并不意味着整合。
• 当系统表现出强冗余性且协同性较低时，'整体减去总和'的Φ可能为负，如在c=0.5的噪声与门系统中，个体贡献之和超过总信息，违反了非负性假设。
• 因果密度（CD）由涉及个体与联合转移的原子组成，而ψ（协同）完全由双协同原子I∂^{12→12}捕获，表明ψ仅度量整合信息的一个特定子集。
• ΦWMS被分解为多个ΦID原子，包括双独特项的负贡献，解释了其非单调行为以及在特定配置下可能出现负值的原因。