[논문 리뷰] Emergence and Causality in Complex Systems: A Survey on Causal Emergence and Related Quantitative Studies

Bing Yuan, Jiang Zhang외 7명|arXiv (Cornell University)|2023. 12. 28.

Complex Systems and Decision Making인용 수 4

한 줄 요약

이 논문은 복잡계에서 인과적 상승(CE) 이론에 대한 종합적인 검토를 제시하며, 복잡계 내에서 미시 수준의 상호작용으로부터 거시 수준의 인과성이 어떻게 기인하는지 제안한다. 효과적 정보(EI)를 정량적 측도로 도입하여 CE를 탐지하고, 기계학습과 신경망을 통합하여 데이터에서 인과적 구조를 식별하며, 신경과학, 인공지능 및 시스템 생물학 분야에 적용한다.

ABSTRACT

Emergence and causality are two fundamental concepts for understanding complex systems. They are interconnected. On one hand, emergence refers to the phenomenon where macroscopic properties cannot be solely attributed to the cause of individual properties. On the other hand, causality can exhibit emergence, meaning that new causal laws may arise as we increase the level of abstraction. Causal emergence theory aims to bridge these two concepts and even employs measures of causality to quantify emergence. This paper provides a comprehensive review of recent advancements in quantitative theories and applications of causal emergence. Two key problems are addressed: quantifying causal emergence and identifying it in data. Addressing the latter requires the use of machine learning techniques, thus establishing a connection between causal emergence and artificial intelligence. We highlighted that the architectures used for identifying causal emergence are shared by causal representation learning, causal model abstraction, and world model-based reinforcement learning. Consequently, progress in any of these areas can benefit the others. Potential applications and future perspectives are also discussed in the final section of the review.

연구 동기 및 목표

• 복잡계에서 상승과 인과성의 간극을 메우기 위해 인과적 상승을 정량화하는 프레임워크를 개발하는 것.
• 기계학습 및 신경망 기법을 활용해 경험적 데이터에서 인과적 상승을 식별하는 데 도전하는 것.
• 다양한 수준의 체계 추상화에서 인과적 상승을 정량화하는 데 핵심 측도로 효과적 정보(EI)를 확립하는 것.
• 기계학습이 인과적 상승 탐지(CE with ML)와 기계학습 시스템 내 인과적 이해 향상(CE for ML)의 이중적 역할을 하는 방식을 탐구하는 것.
• 인공지능, 신경과학 및 시스템 생물학 분야에 응용되는 인과적 상승 분야의 향후 연구를 위한 비전도 제공하는 것.

제안 방법

• 인과적 상승의 측도로 효과적 정보(EI)를 사용하며, 이는 간섭(도-계산법) 하에서 입력과 출력 간 상호정보량으로 정의된다.
• 체계의 동역학을 모델링하고 최대 엔트로피 분포 하에서의 공동 및 주변 확률을 계산하기 위해 상태 전이 확률 행렬(TPM)을 활용한다.
• 공식 $ EI = \frac{1}{N}\sum_{i,j}TPM(i,j)\log_2\left(\frac{N \cdot TPM(i,j)}{\sum_k TPM(k,j)}\right) $ 를 사용해 TPM에서 EI를 유도함으로써 데이터 기반 계산이 가능해진다.
• 고차원 데이터에서 거시 수준의 인과적 구조를 탐지하기 위해 기계학습 및 딥러닝 모델을 적용한다.
• 인과적 탐지 알고리즘과 표현 학습을 통합하여 EI를 최대화하는 효과적인 거시 변수를 식별한다.
• 도-계산법 프레임워크를 사용해 수동 관찰과 능동적 간섭을 구분함으로써 EI 추정의 인과적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 정보 이론적 도구를 사용해 복잡계에서 인과적 상승을 어떻게 정량적으로 측정할 수 있는가?
• RQ2 효과적 정보(EI)는 미시 수준에 존재하지 않는 거시 수준의 인과 법칙을 식별하는 데 어떤 역할을 하는가?
• RQ3 기계학습 기법을 어떻게 활용해 관측 및 실험 데이터에서 인과적 상승을 탐지할 수 있는가?
• RQ4 인공지능 시스템, 예를 들어 대규모 언어 모델에서 인과적 상승은 어떻게 나타나는가?
• RQ5 적응과 진화는 복잡계에서 인과적 구조가 어떻게 기인하는지에 기여하는가?

주요 결과

• 효과적 정보(EI)는 인과적 상승을 정량화하는 데 있어 강력한 정보 이론적 측도를 제공하며, 거시 수준의 간섭이 예측 가능한 영향을 미치는 정도를 포착한다.
• 이 방법은 전체 공동 분포가 필요 없이도 시스템의 전이 확률 행렬(TPM)만으로도 인과적 상승을 탐지할 수 있도록 한다.
• 거시 변수—미시 상태의 집합—가 그들의 미시 대응체보다 더 높은 EI를 보이는 시스템에서 인과적 상승이 관찰되며, 이는 더 강력한 인과적 영향력을 나타낸다.
• 기계학습 모델, 특히 딥 뉴럴 네트워크는 EI를 최대화하는 거시 변수를 식별할 수 있으며, 이는 데이터 기반 인과 탐지의 실현 가능성을 보여준다.
• 인과적 상승은 단순한 굴곡화의 산물이 아니라, 더 높은 수준의 추상화에서 기인하는 진정한 인과적 구조를 반영한다.
• 이 프레임워크는 하향적 인과성과 마음-몸 상호작용이 거시 수준 상태가 미시 수준의 역학에 영향을 미치는 기인적 인과 현상으로 이해될 수 있음을 드러낸다.