[论文解读] An Information-Theoretic Formalism for Multiscale Structure in Complex Systems

Benjamin Allen, Blake C. Stacey+1 more|arXiv (Cornell University)|Sep 16, 2014

Gene Regulatory Network Analysis参考文献 115被引用 10

一句话总结

本文提出了一种基于信息论的形式化方法，利用广义信息度量（如香农熵和柯尔莫哥洛夫复杂性）来量化复杂系统中的多尺度结构。通过公理化信息函数形式化组件之间的依赖关系，推导出复杂性谱和一种新指标——信息的边际效用，并通过统计力学中的格林展开将负多变量互信息的悖论联系起来。

ABSTRACT

We develop a general formalism for representing and understanding structure in complex systems. In our view, structure is the totality of relationships among a system's components, and these relationships can be quantified using information theory. In the interest of flexibility we allow information to be quantified using any function, including Shannon entropy and Kolmogorov complexity, that satisfies certain fundamental axioms. Using these axioms, we formalize the notion of a dependency among components, and show how a system's structure is revealed in the amount of information assigned to each dependency. We explore quantitative indices that summarize system structure, providing a new formal basis for the complexity profile and introducing a new index, the "marginal utility of information". Using simple examples, we show how these indices capture intuitive ideas about structure in a quantitative way. Our formalism also sheds light on a longstanding mystery: that the mutual information of three or more variables can be negative. We discuss applications to complex networks, gene regulation, the kinetic theory of fluids and multiscale cybernetic thermodynamics.

研究动机与目标

• 开发一种通用的、公理化的框架，利用信息论将系统结构表示为组件之间的可量化关系。
• 通过将其建立在统计力学和格林展开的基础上，解决三元及以上变量中负多变量互信息这一长期存在的悖论。
• 引入新的定量指标——复杂性谱和信息的边际效用，用于表征系统在多尺度下的结构。
• 在统一的信息论基础之上，整合复杂系统不同表征方式（如网络、流体动力学、基因调控）的差异。
• 提供一种严格的、多尺度的形式化方法，通过信息论公理推广重整化群思想，实现对复杂系统的系统性粗粒化。

提出的方法

• 通过满足基本公理（如连续性、对称性、可加性）的信息函数，将结构形式化为组件之间的依赖关系。
• 通过组件子集的带符号和定义多变量互信息，其符号交替由矩-累积量关系的逆推导得出。
• 应用格林展开（125），将总熵表达为k体相关性的总和，将其与各尺度下的多变量互信息联系起来。
• 将复杂性谱D(k)推导为各尺度信息贡献的加权和，其系数由矩-累积量变换的逆确定。
• 引入信息的边际效用作为新指标，用于衡量向子系统中增加新组件所带来的信息增量。
• 利用该形式化方法，通过信息论组件重新解释现有复杂网络、运动论和控制论热力学模型的结构。

实验结果

研究问题

• RQ1 如何利用信息论原则在多尺度上正式定义并量化系统结构？
• RQ2 为何三元及以上变量之间的多变量互信息有时会为负值，这又对系统依赖关系意味着什么？
• RQ3 复杂性谱的数学起源是什么，它如何从矩-累积量关系的结构中自然涌现？
• RQ4 信息的边际效用应如何定义，并用于评估单个组件对系统整体结构的贡献？
• RQ5 该形式化方法在何种方式下可将复杂系统不同模型（如网络、流体、基因调控系统）统一于同一信息论框架之下？

主要发现

• 该形式化方法通过表明负多变量互信息自然源于格林展开中熵的符号结构，解决了其悖论。
• 复杂性谱D(k)被推导为k尺度下信息贡献的线性组合，其系数由矩-累积量变换的逆确定。
• 引入信息的边际效用作为新指标，用于量化向子系统添加组件所带来的信息增量。
• 格林展开（125）提供了熵的多尺度分解，将其分解为单体、双体及更高阶相关项，其中双体项即为互信息。
• 对于无相关系统（如Erdős–Rényi随机网络），复杂性谱退化为一阶熵，证实当不存在更高阶结构时，C(1) = D(1)。
• 该形式化方法揭示，多变量互信息中的符号模式（如奇数大小组为+，偶数大小组为−）是累积量展开线性代数结构的直接结果，而非矛盾。