[论文解读] Towards an extended taxonomy of information dynamics via Integrated Information Decomposition

Pedro A. M. Mediano, Fernando E. Rosas+5 more|arXiv (Cornell University)|Sep 27, 2021

Complex Systems and Time Series Analysis参考文献 63被引用 43

一句话总结

本文提出 Integrated Information Decomposition (ΦID)，是 PID 和 IIT 的扩展，能够在多变量时间序列的过去和未来之间分解信息动力学，揭示新的信息流模式并调和各种信息理论度量。

ABSTRACT

Complex systems, from the human brain to the global economy, are made of multiple elements that interact in such ways that the behaviour of the `whole' often seems to be more than what is readily explainable in terms of the `sum of the parts.' Our ability to understand and control these systems remains limited, one reason being that we still don't know how best to describe -- and quantify -- the higher-order dynamical interactions that characterise their complexity. To address this limitation, we combine principles from the theories of Information Decomposition and Integrated Information into what we call Integrated Information Decomposition, or $Φ$ID. $Φ$ID provides a comprehensive framework to reason about, evaluate, and understand the information dynamics of complex multivariate systems. $Φ$ID reveals the existence of previously unreported modes of collective information flow, providing tools to express well-known measures of information transfer and dynamical complexity as aggregates of these modes. Via computational and empirical examples, we demonstrate that $Φ$ID extends our explanatory power beyond traditional causal discovery methods -- with profound implications for the study of complex systems across disciplines.

研究动机与目标

• 说明在成对因果关系和单一目标分解之外，需要一个更丰富的信息动力学分类体系的原因。
• 引入 Integrated Information Decomposition (ΦID) 框架，以对多变量时间序列在过去和未来之间的信息流进行分解。
• 展示 ΦID 如何统一并扩展 PID 和整合信息的概念，以揭示新的信息动力学模式。
• 通过在神经科学和生理学中的理论分析以及计算/经验示例，展示 ΦID 的实际应用价值。

提出的方法

• 将 ΦID 原子定义为从过去演化到未来的 PID 原子的对，形成面向两个时间序列系统的 16 原子格。
• 引入一个双重冗余函数来约束用于 16 个 ΦID 原子的 15 方程组的欠定问题。
• 描述六原子分类法（存储、复制、传输、擦除、向下因果、向上因果），用于刻画信息动力学。
• 将标准度量（AIS、TE、CD、ΦWMS）分解为 ΦID 原子，以揭示它们所捕捉内容的质的差异。
• 提供简单的示例（复制、XOR、奇偶校验保持）以展示尽管整体整合相同，ΦID 指标也会呈现不同签名。
• 将 ΦID 应用于模拟的全脑活动（Dynamic Mean Field 模型）和实证心肺数据（Fantasia），以展示其实用性。

实验结果

研究问题

• RQ1 在多变量时间序列系统中，当信息在过去和未来之间分解时，存在哪些定性上不同的信息动力学模式？
• RQ2 现有的整合与信息传递度量如何映射到 ΦID 原子上，为什么有时会得出彼此矛盾的解释？
• RQ3 ΦID 是否能够解释如负的 ΦWMS 值和在因果密度类度量中的重复计数等现象？
• RQ4 ΦID 分解为神经科学和生理学中的真实数据提供了哪些洞见（如全脑模型和心-呼吸相互作用）？

主要发现

• ΦID 展示了一个 16 原子信息分解格，跟踪每个过去信息原子如何在两个时间序列中演化为未来的原子。
• 该框架表明标准度量（例如 ΦWMS、CD、TE）对应于 ΦID 原子的不同组合，从而解释不一致的经验行为。
• TE 分解为多个 ΦID 术语， isolating 真正的传输项 Un1→Un2，并澄清潜在的重复计数问题（如 Syn→Red）。
• ΦWMS 的负值可通过双重计数冗余来理解；修订后的度量 ΦR 可以缓解这一问题。
• 在 Dynamic Mean Field 大脑模型中，ΦWMS 在过渡区域附近可能下降，而 ΦR 保持为正并达到峰值，与意识样状态下的整合增加相符。
• 实证心-呼吸传递显示在心对呼吸和呼吸对心两个方向上都存在定向的 ΦID 分解，提供比仅 TE 更细致的解释。