[论文解读] An Algorithmic Approach to Emergence

Charles Alexandre Bédard|arXiv (Cornell University)|Jul 16, 2022

Computability, Logic, AI Algorithms参考文献 39被引用 1

一句话总结

本文提出了一种基于算法信息论的定量、算法化框架来定义涌现，将涌现定义为编码观测数据的位串的柯尔莫哥洛夫结构函数的下降。其主要贡献是基于不可约停机信息和结构复杂度变化，提出了一种数学上严格、客观的涌现判定标准，并通过动力系统和热力学中的应用得到验证。

ABSTRACT

We suggest a quantitative and objective notion of emergence. Our proposal uses algorithmic information theory as a basis for an objective framework in which a bit string encodes observational data. A plurality of drops in the Kolmogorov structure function of such a string is seen as the hallmark of emergence. Our definition offers some theoretical results, in addition to extending the notions of coarse-graining and boundary conditions. Finally, we confront our proposal with applications to dynamical systems and thermodynamics.

研究动机与目标

• 为解决复杂系统中涌现缺乏客观、定量定义的问题，目前的定义多基于新颖性的主观或定性评估。
• 利用算法信息论，特别是柯尔莫哥洛夫结构函数和算法充分统计量，将涌现形式化为可度量的现象。
• 提供一个在逻辑上一致地处理粗粒化和边界条件的框架，超越临时解释的局限。
• 建立涌现与不可约停机信息之间的联系，表明当数据中包含的停机信息超过最小模型所预期的量时，涌现即产生。
• 通过在动力系统和热力学中的应用验证该框架，证明其与真实物理现象的相关性。

提出的方法

• 将观测数据表示为二进制位串 x，将其视为受算法信息论约束的物理对象。
• 应用柯尔莫哥洛夫结构函数分析模型复杂度与数据拟合之间的权衡，通过结构下降识别涌现的指标。
• 通过超过阈值 Q(α) = ϵ(α) + O(1) 的结构函数下降来定义涌现，其中 ϵ(α) 表征不可约停机信息。
• 利用链式法则和条件柯尔莫哥洛夫复杂度的界，关联不同复杂度层级的模型复杂度，推导涉及 K(α|m)、K(τ|ℓ) 和 ℓ∗(n) 的不等式。
• 通过量 ξ = αi−1 − δ(αi−1) + O(1) 引入不可约停机信息的概念，该量衡量计算最小部分模型运行时间所需的最小信息量。
• 建立不同复杂度层级模型之间算法互信息 K(Si|Sj) 的界，表明涌现意味着停机信息的显著增加。

实验结果

研究问题

• RQ1 能否利用算法信息论，以数学上严格、客观且定量的方式定义涌现？
• RQ2 如何基于柯尔莫哥洛夫结构函数中的结构复杂度下降来形式化涌现的概念？
• RQ3 不可约停机信息在区分涌现现象与可约或可预测行为中起什么作用？
• RQ4 粗粒化和边界条件如何影响算法框架中涌现的检测？
• RQ5 该框架能否应用于真实物理系统，如动力系统和热力学过程？

主要发现

• 涌现被形式化定义为柯尔莫哥洛夫结构函数的下降超过阈值 Q(α) = ϵ(α) + O(1)，表明存在不可约停机信息。
• 该框架表明，在复杂度层级 αi 上的模型 Si 至少包含 ξ = αi−1 − δ(αi−1) + O(1) 比特的不可约停机信息，无法进一步压缩。
• 不同复杂度层级模型之间互信息 K(Si|Sj) 的界为 K(Si|Sj) ≤ αi − αi−1 + 3K(αi−1) + O(log log n)，表明涌现意味着算法复杂度的显著提升。
• 长度为 τ 且在 ¯qτ−1 后停机的程序数量被限制为 O(1)，意味着此类程序不可能过多，否则将违反算法信息约束。
• 该框架成功扩展至粗粒化和边界条件，表明在配置中结构下降对这些变换具有鲁棒性。
• 结果表明，温度及其他宏观热力学变量可被视为算法意义上的涌现模式，因其代表数据中具有实用价值且不可压缩的结构。