[論文レビュー] Emergence and Causality in Complex Systems: A Survey on Causal Emergence and Related Quantitative Studies

Bing Yuan, Jiang Zhang+7 more|arXiv (Cornell University)|Dec 28, 2023

Complex Systems and Decision Making被引用数 4

ひとこと要約

本論文は、因果的出現（CE）理論の包括的レビューを提示し、複雑系におけるミクロレベルの相互作用からマクロレベルの因果性が出現することを提唱する。有効情報（EI）を用いてCEを定量化する指標を導入し、機械学習およびニューラルネットワークを統合して、データから因果構造を同定する。神経科学、人工知能、システム生物学への応用を含む。

ABSTRACT

Emergence and causality are two fundamental concepts for understanding complex systems. They are interconnected. On one hand, emergence refers to the phenomenon where macroscopic properties cannot be solely attributed to the cause of individual properties. On the other hand, causality can exhibit emergence, meaning that new causal laws may arise as we increase the level of abstraction. Causal emergence theory aims to bridge these two concepts and even employs measures of causality to quantify emergence. This paper provides a comprehensive review of recent advancements in quantitative theories and applications of causal emergence. Two key problems are addressed: quantifying causal emergence and identifying it in data. Addressing the latter requires the use of machine learning techniques, thus establishing a connection between causal emergence and artificial intelligence. We highlighted that the architectures used for identifying causal emergence are shared by causal representation learning, causal model abstraction, and world model-based reinforcement learning. Consequently, progress in any of these areas can benefit the others. Potential applications and future perspectives are also discussed in the final section of the review.

研究の動機と目的

• 複雑系における出現と因果性のギャップを埋めるために、因果的出現を定量的フレームワークで開発すること。
• 機械学習およびニューラルネットワーク技術を用いて、実証データから因果的出現を同定する課題に対処すること。
• 有効情報（EI）を、異なるレベルのシステムの抽象化において因果的出現を定量化するための中心的指標として確立すること。
• 機械学習が因果的出現の検出（CE with ML）と、MLシステムにおける因果理解の強化（CE for ML）の両方の役割を果たす方法を明らかにすること。
• 因果的出現の今後の研究のためのロードマップを提示すること。AI、神経科学、システム生物学への応用を含む。

提案手法

• 因果的出現の測定に有効情報（EI）を用い、介入（do-計算）下での入力と出力の相互情報量として定義される。
• 状態遷移確率行列（TPM）を用いてシステムのダイナミクスをモデル化し、最大エントロピー分布下での同時確率および周辺確率を計算する。
• 次の式を用いてTPMからEIを導出する：$ EI = \frac{1}{N}\sum_{i,j}TPM(i,j)\log_2\left(\frac{N \cdot TPM(i,j)}{\sum_k TPM(k,j)}\right) $、これによりデータ駆動型の計算が可能になる。
• 機械学習およびディープラーニングモデルを用いて、高次元データからマクロスケールの因果構造を検出する。
• 因果発見アルゴリズムと表現学習を統合し、EIを最大化する有効なマクロ変数を同定する。
• do-計算フレームワークを用いて、受動的観察と能動的介入の区別をし、EI推定における因果的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的ツールを用いて、複雑系における因果的出現をどのように定量的に測定できるか？
• RQ2 有効情報（EI）は、ミクロレベルには存在しないマクロレベルの因果法則を同定するために果たす役割は何か？
• RQ3 機械学習技術をどのように活用して、観測データおよび実験データから因果的出現を検出できるか？
• RQ4 因果的出現は、大規模言語モデルのような人工知能システムにどのように現れるか？
• RQ5 適応と進化は、複雑系における因果構造の出現にどのように寄与するか？

主な発見

• 有効情報（EI）は、マクロレベルの介入が予測可能な効果をもたらす程度を捉える情報理論的指標として、因果的出現を定量化するのに強固である。
• 本手法により、完全な同時分布が不要な状態遷移確率行列（TPM）のみを用いて、データから因果的出現を検出できる。
• マクロ変数（ミクロ状態の集約）がミクロ対応物よりも高いEIを示す系では、因果的出現が観察される。これは、より強い因果的パワーを示している。
• 特にディープニューラルネットワークを含む機械学習モデルは、EIを最大化するマクロ変数を同定でき、データ駆動型因果発見の可能性を示している。
• 因果的出現は、粗粒度化の単なる副産物ではなく、抽象化の高いレベルに現れる真の因果構造を反映している。
• フレームワークにより、マクロレベルの状態がミクロレベルのダイナミクスに影響を与える、下位からの因果作用や心身相互作用が、出現的因果現象として理解できることが明らかになった。