[论文解读] A measure of statistical complexity based on predictive information

Samer Abdallah, Mark D. Plumbley|arXiv (Cornell University)|Dec 8, 2010

Statistical Mechanics and Entropy被引用 7

一句话总结

本文引入了“绑定信息”——一种基于预测信息的统计结构信息论度量，用于量化一组随机变量中的高阶依赖关系。证明了在有限二元系统中，最大绑定信息为 $N-1$ 位，由“异或”过程实现，其中配置根据偶 parity 或奇 parity 均匀分布，这与偏好‘巨位’过程的多信息等度量形成对比。

ABSTRACT

We introduce an information theoretic measure of statistical structure, called 'binding information', for sets of random variables, and compare it with several previously proposed measures including excess entropy, Bialek et al.'s predictive information, and the multi-information. We derive some of the properties of the binding information, particularly in relation to the multi-information, and show that, for finite sets of binary random variables, the processes which maximises binding information are the 'parity' processes. Finally we discuss some of the implications this has for the use of the binding information as a measure of complexity.

研究动机与目标

• 开发一种统计结构度量，以捕捉超越成对相互作用的高阶依赖关系。
• 解决现有度量（如过剩熵和多信息）在量化复杂、非局域依赖关系方面的局限性。
• 识别在有限离散系统中使绑定信息最大化的随机过程类别。
• 建立绑定信息与多信息及预测信息之间关系的理论和经验边界。
• 展示绑定信息作为复杂性度量的实用性，能够区分具有全局非局域依赖关系的过程。

提出的方法

• 将绑定信息 $B(X_{\text{A}})$ 定义为预测信息率（PIR）的广延对应量，用于度量一组随机变量中总预测信息。
• 使用条件互信息项表述绑定信息：$B(X_{\text{A}}) = \frac{1}{2} \big[ H(X_{\text{A}}) + \text{各熵之和} - \text{各条件熵之和} \big]$。
• 推导理论边界：$I(X_{\text{A}}) \triangleq \text{多信息} \rightarrow B(X_{\text{A}}) \triangleq \text{绑定信息}$，对于有限系统有 $I(X_{\text{A}}) \times (N-1) \triangleq B(X_{\text{A}})$ 且 $B(X_{\text{A}}) \times (N-1) \triangleq I(X_{\text{A}})$。
• 使用数值算法验证至 $N = 37$ 的边界，确认绑定信息与多信息之间的经验不等式。
• 证明对于 $N$ 个二元变量，绑定信息在“模 2”过程（即异或过程）下达到最大值 $N-1$ 位，其中所有偶 parity 或奇 parity 的配置均匀分布。
• 对比异或过程（最大绑定）与“巨位”过程（最大多信息）的结构，表明其具有不同的依赖特征。

实验结果

研究问题

• RQ1 对于有限个 $N$ 个离散随机变量，绑定信息的最大值是多少？哪些过程可实现该最大值？
• RQ2 绑定信息在捕捉统计结构方面与多信息和过剩熵等既有度量有何不同？
• RQ3 绑定信息能否用于识别对低阶度量不可见的具有非局域高阶依赖关系的过程？
• RQ4 在有限系统中，绑定信息与多信息之间存在何种关系？是否存在紧致的解析或经验边界？
• RQ5 使绑定信息最大化的过程是否表现出独特的结构性或计算特性，例如在低阶上呈现伪独立性？

主要发现

• 对于 $N$ 个二元随机变量，最大绑定信息为 $N-1$ 位，且仅由两种‘异或’过程实现：偶 parity 和奇 parity 分布。
• 异或过程的绑定信息为 $N-1$ 位，而其多信息仅为 1 位，与使多信息最大化的过程形成鲜明对比。
• ‘巨位’过程（使多信息达到 $N-1$ 位）的绑定信息仅 1 位，证实绑定信息捕捉的是不同的结构特征。
• 经验边界表明 $I(X_{\text{A}}) \times (N-1) \triangleq B(X_{\text{A}})$ 且 $B(X_{\text{A}}) \times (N-1) \triangleq I(X_{\text{A}})$，数值验证至 $N = 37$。
• 绑定信息具有变换不变性，且可具有广延分量，这使其与本质上为次广延的预测信息等度量相区别。
• 异或过程体现了‘伪独立’系统：当观测少于 $N$ 个变量时，其表现似独立，但展现出强烈的全局依赖，因此是绑定信息下最大复杂性的理想候选。