[论文解读] Information erasure lurking behind measures of complexity

Karoline Wiesner, Mile Gu+2 more|arXiv (Cornell University)|May 18, 2009

Statistical Mechanics and Entropy参考文献 2被引用 4

一句话总结

本文通过证明统计复杂度与有效度量复杂度（过剩熵）之间的差异恰好等于预测过程中被擦除的信息量，建立了这两个关键复杂度度量之间的基本联系。本文引入信息处理效率作为模型性能的上限，提供了一项基于最小信息损失的定量模型评估标准。

ABSTRACT

Complex systems are found in most branches of science. It is still argued how to best quantify their complexity and to what end. One prominent measure of complexity (the statistical complexity) has an operational meaning in terms of the amount of resources needed to forecasting a system's behaviour. Another one (the effective measure complexity, aka excess entropy) is a measure of mutual information stored in the system proper. We show that for any given system the two measures differ by the amount of information erased during forecasting. We interpret the difference as inefficiency of a given model. We find a bound to the ratio of the two measures defined as information-processing efficiency, in analogy to the second law of thermodynamics. This new link between two prominent measures of complexity provides a quantitative criterion for good models of complex systems, namely those with little information erasure.

研究动机与目标

• 阐明复杂系统中统计复杂度与有效度量复杂度（过剩熵）之间的关系。
• 识别预测过程中信息擦除作为区分这两种复杂度度量的关键因素。
• 基于信息处理效率，建立模型质量的定量评估标准。
• 通过类比热力学第二定律，将信息损失视为复杂系统建模中的基本约束。

提出的方法

• 将统计复杂度定义为预测系统行为所需资源的度量。
• 将有效度量复杂度（过剩熵）定义为系统结构中存储的互信息量。
• 推导出这两种度量之间的差异即为预测过程中被擦除的信息量。
• 将信息处理效率定义为过剩熵与统计复杂度的比值。
• 建立该比值的理论上限，类比于热力学第二定律。
• 运用信息论工具，从不可逆信息损失的角度分析模型低效性。

实验结果

研究问题

• RQ1 在预测与信息存储方面，统计复杂度与有效度量复杂度之间有何关系？
• RQ2 信息擦除在区分这两种复杂度度量的差异中起什么作用？
• RQ3 信息处理效率能否作为评估复杂系统模型的定量基准？
• RQ4 预测中的信息损失概念如何类比于热力学不可逆性？
• RQ5 信息擦除对高效复杂系统模型的设计施加了哪些约束？

主要发现

• 统计复杂度与过剩熵之间的差异恰好等于预测过程中被擦除的信息量。
• 信息擦除量化了模型的低效性，擦除量越大，表示预测模型越差。
• 推导出信息处理效率的理论上限，类比于热力学第二定律。
• 识别出信息擦除最少的模型为最优模型，从而提供了一种新的模型评估标准。
• 该框架通过连接预测成本与结构信息，为复杂度度量提供了统一的视角。
• 研究结果为过剩熵提供了直接的操作性解释，即预测后保留的信息量。