[论文解读] Information Theory for Complex Systems Scientists

Thomas F. Varley|arXiv (Cornell University)|Apr 24, 2023

Complex Network Analysis Techniques被引用 4

一句话总结

本文为复杂系统科学家提供了一套全面且易于理解的现代信息论导论，涵盖熵、互信息和转移熵等核心概念，以及部分信息分解和网络推断等高级主题。它展示了这些工具如何揭示复杂系统中的非线性依赖关系与统计关联，并为在多尺度、相互关联现象中的应用提供了实用指导。

ABSTRACT

In the 21st century, many of the crucial scientific and technical issues facing humanity can be understood as problems associated with understanding, modelling, and ultimately controlling complex systems: systems comprised of a large number of non-trivially interacting components whose collective behaviour can be difficult to predict. Information theory, a branch of mathematics historically associated with questions about encoding and decoding messages, has emerged as something of a lingua franca for those studying complex systems, far exceeding its original narrow domain of communication systems engineering. In the context of complexity science, information theory provides a set of tools which allow researchers to uncover the statistical and effective dependencies between interacting components; relationships between systems and their environment; mereological whole-part relationships; and is sensitive to non-linearities missed by commonly parametric statistical models. In this review, we aim to provide an accessible introduction to the core of modern information theory, aimed specifically at aspiring (and established) complex systems scientists. This includes standard measures, such as Shannon entropy, relative entropy, and mutual information, before building to more advanced topics, including: information dynamics, measures of statistical complexity, information decomposition, and effective network inference. In addition to detailing the formal definitions, in this review we make an effort to discuss how information theory can be interpreted and develop the intuition behind abstract concepts like "entropy," in the hope that this will enable interested readers to understand what information is, and how it is used, at a more fundamental level.

研究动机与目标

• 通过使跨学科研究人员能够理解高级概念，弥合信息论与复杂系统科学之间的鸿沟。
• 解决传统统计方法在捕捉复杂系统中非线性、多变量依赖关系方面的局限性。
• 利用信息论工具，为理解复杂系统中的信息流动、整合与结构提供统一框架。
• 指导研究人员将信息论应用于气候建模、神经科学和社会动力学等现实问题。
• 警惕将'信息'误解为一种物质实体，强调其依赖观察者、以减少不确定性为核心的本质。

提出的方法

• 通过'预期惊讶'和'所需信息'等直观解释，引入香农熵、相对熵和互信息等基础概念。
• 开发高级工具，包括用于测量信息传递的转移熵、用于记忆的活动信息存储，以及用于预测能力的过剩熵。
• 应用部分信息分解（PID）来剖析变量如何共享、冗余贡献或协同组合信息。
• 利用信息动力学分析系统如何随时间存储、传递和修改信息。
• 提出基于互信息和转移熵的网络推断技术，以重建复杂系统中的功能连接和有效连接。
• 讨论离散和连续信号的实用估计方法，包括高斯方法和基于密度的方法，同时关注偏差和显著性检验。

实验结果

研究问题

• RQ1 信息论如何用于量化非线性、高维复杂系统中的统计依赖性？
• RQ2 信息在理解复杂系统中的涌现行为、记忆和预测方面扮演何种角色？
• RQ3 信息分解（PID）如何区分变量对系统输出的冗余、唯一和协同贡献？
• RQ4 信息度量如转移熵和活动信息存储在哪些方面优于基于相关性的传统方法？
• RQ5 信息论在推断因果关系方面存在哪些局限性？研究人员如何避免将统计依赖关系误认为因果关系？

主要发现

• 信息论通过量化不确定性减少，为分析复杂系统提供了稳健框架，特别适合捕捉标准参数模型所遗漏的非线性、多变量依赖关系。
• 转移熵和活动信息存储等度量能有效捕捉动力系统中的信息流动和记忆，即使关系是非线性的。
• 部分信息分解（PID）可剖析多个输入如何共同影响输出，明确区分冗余、唯一和协同信息。
• 基于互信息和转移熵的网络推断可重建功能连接和有效连接，但结果对数据量和估计器偏差敏感。
• 尽管信息论具有优势，但其本身无法独立确立因果关系；不同的因果模型可能产生相同的有效连接结构，因此需要额外的建模约束。
• 本文警告不应将'信息'拟人化为一种物质实体，强调其本质上依赖观察者，根植于不确定性减少，而非形而上学本质。