[论文解读] Emergence and Causality in Complex Systems: A Survey on Causal Emergence and Related Quantitative Studies

Bing Yuan, Jiang Zhang+7 more|arXiv (Cornell University)|Dec 28, 2023

Complex Systems and Decision Making被引用 4

一句话总结

本文对因果涌现（CE）理论进行了全面综述，提出在复杂系统中，宏观层面的因果性可从微观层面的相互作用中涌现。文章引入有效信息（EI）作为定量度量方法以检测CE，结合机器学习与神经网络从数据中识别因果结构，并在神经科学、人工智能和系统生物学中展示应用。

ABSTRACT

Emergence and causality are two fundamental concepts for understanding complex systems. They are interconnected. On one hand, emergence refers to the phenomenon where macroscopic properties cannot be solely attributed to the cause of individual properties. On the other hand, causality can exhibit emergence, meaning that new causal laws may arise as we increase the level of abstraction. Causal emergence theory aims to bridge these two concepts and even employs measures of causality to quantify emergence. This paper provides a comprehensive review of recent advancements in quantitative theories and applications of causal emergence. Two key problems are addressed: quantifying causal emergence and identifying it in data. Addressing the latter requires the use of machine learning techniques, thus establishing a connection between causal emergence and artificial intelligence. We highlighted that the architectures used for identifying causal emergence are shared by causal representation learning, causal model abstraction, and world model-based reinforcement learning. Consequently, progress in any of these areas can benefit the others. Potential applications and future perspectives are also discussed in the final section of the review.

研究动机与目标

• 通过构建因果涌现的定量框架，弥合复杂系统中涌现与因果性之间的鸿沟。
• 解决从实证数据中识别因果涌现的挑战，利用机器学习与神经网络技术实现。
• 确立有效信息（EI）作为量化不同系统抽象层次上因果涌现的核心度量。
• 探索机器学习在双重角色中的作用：既用于检测因果涌现（CE with ML），也用于增强对机器学习系统中因果理解（CE for ML）。
• 为因果涌现的未来研究提供路线图，涵盖在人工智能、神经科学和系统生物学中的应用。

提出的方法

• 使用有效信息（EI）作为因果涌现的度量，定义为在干预（do-计算）下输入与输出之间的互信息。
• 采用状态转移概率矩阵（TPMs）建模系统动态，并在最大熵分布下计算联合概率与边缘概率。
• 通过公式 $ EI = \frac{1}{N}\sum_{i,j}TPM(i,j)\log_2\left(\frac{N \cdot TPM(i,j)}{\sum_k TPM(k,j)}\right) $ 从TPMs推导EI，实现基于数据的计算。
• 应用机器学习与深度学习模型，从高维数据中检测宏观层面的因果结构。
• 将因果发现算法与表征学习相结合，识别出使EI最大化的有效宏观变量。
• 采用do-计算框架区分被动观察与主动干预，确保EI估计的因果有效性。

实验结果

研究问题

• RQ1 如何利用信息论工具对复杂系统中的因果涌现进行定量测量？
• RQ2 有效信息（EI）在识别微观层面不存在但存在于宏观层面的因果规律中起什么作用？
• RQ3 如何利用机器学习技术从观测数据与实验数据中检测因果涌现？
• RQ4 因果涌现在人工智能系统（如大语言模型）中以何种方式表现？
• RQ5 适应与进化如何促进复杂系统中因果结构的涌现？

主要发现

• 有效信息（EI）提供了一种稳健的信息论度量，用于量化因果涌现，能够捕捉宏观干预产生可预测效应的程度。
• 该方法仅依赖系统的转移概率矩阵（TPM）即可实现因果涌现的检测，无需完整的联合分布。
• 在宏观变量（即微观态的聚合）的EI高于其微观对应物的系统中观察到因果涌现，表明其具有更强的因果能力。
• 机器学习模型，尤其是深度神经网络，能够识别出使EI最大化的宏观变量，证明了基于数据的因果发现的可行性。
• 因果涌现并非粗粒化的产物，而是真实涌现的因果结构，体现在更高层次的抽象中。
• 该框架表明，自上而下的因果作用与心身互动可被理解为涌现的因果现象，即宏观状态影响微观动态。