[논문 리뷰] Software in the natural world: A computational approach to hierarchical emergence

Fernando E. Rosas, Bernhard C. Geiger외 5명|arXiv (Cornell University)|2024. 02. 14.

Computability, Logic, AI Algorithms인용 수 5

한 줄 요약

이 논문은 정보 이론 개념과 오토마타 이론을 결합하여 다층 시스템에서 인과 및 계산적 폐쇄를 특징짓고 소프트웨어와 같은 자급적 거대 규모 프로세스에 emergence를 연결하는 계산 프레임워크를 개발한다.

ABSTRACT

Understanding the functional architecture of complex systems is crucial to illuminate their inner workings and enable effective methods for their prediction and control. Recent advances have introduced tools to characterise emergent macroscopic levels; however, while these approaches are successful in identifying when emergence takes place, they are limited in the extent they can determine how it does. Here we address this limitation by developing a computational approach to emergence, which characterises macroscopic processes in terms of their computational capabilities. Concretely, we articulate a view on emergence based on how software works, which is rooted on a mathematical formalism that articulates how macroscopic processes can express self-contained informational, interventional, and computational properties. This framework establishes a hierarchy of nested self-contained processes that determines what computations take place at what level, which in turn delineates the functional architecture of a complex system. This approach is illustrated on paradigmatic models from the statistical physics and computational neuroscience literature, which are shown to exhibit macroscopic processes that are akin to software in human-engineered systems. Overall, this framework enables a deeper understanding of the multi-level structure of complex systems, revealing specific ways in which they can be efficiently simulated, predicted, and controlled.

연구 동기 및 목표

• 복잡한 다층 시스템에서 emergent 거시적 수준을 엄밀하게 특성화해야 할 필요성을 제시한다.
• 정보적, 인과적, 계산적 폐쇄를 통해 거시적 자급성을 정의하는 프레임워크를 제안한다.
• 거시적 프로세스가 어떻게 계산하고 개입하는지 연구하기 위해 자동인타 이론과 계산 역학의 원리를 통합한다.
• 이러한 아이디어가 규모에 걸친 중첩된 계산 구조의 격자를 산출하는 모습을 보인다.

제안 방법

• 거시적 프로세스 Z_t = f(X_t)를 정의하고, Z_t에 영향을 주는 X_t의 최소 차이점을 upsilon-machine과 epsilon-machine을 사용하여 식별한다.
• Z의 epsilon-machine과 Z의 upsilon-machine이 일치할 때 인과 폐쇄를 확립하고, 거시적 개입이 미래 예측에 충분하다는 것을 시사한다.
• 자기 예측 충분성을 정량화하기 위해 상호정보 I(Z_t^L; Z_t+1) = I(X_t^L; Z_t+1)로 정보적 폐쇄를 형식화한다.
• 두-machine 프레임워크(epsilon-machine과 upsilon-machine)를 도입하여 인과성과 계산을 연결하고 예측 엔진으로서의 역할과 기본 원인으로서의 역할을 설명한다.
• 프레임워크를 lumpable 시간수열 이론과 연결하여 실제 데이터에서 효율적 추정이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 복잡한 시스템에서 emergent 거시적 수준을 자급적 계산 엔티티로 어떻게 특성화할 수 있는가?
• RQ2 소프트웨어와 같은(인과적으로 폐쇄된) 거시적 프로세스를 산출하는 정확한 정보적, 인과적, 계산적 조건은 무엇인가?
• RQ3 epsilon-과 upsilon-machine은 macro 수준에서 원인과 계산을 정의하는 데 서로 어떻게 연결되는가?
• RQ4 제안된 중첩된 계산 구조의 격기가 거친-절단 수준 간 다층 다이나믹스를 예측하고 제어하는 데 사용될 수 있는가?

주요 결과

• 거시적 수준은 정보적, 인과적, 계산적 폐쇄를 통해 자급적 계산 엔티티로 특성화될 수 있다.
• 중첩된 계산 구조의 격자가 coarse-graining에 의해 정렬되어 각 수준에서 어떤 계산이 발생하는지 개요를 제공한다.
• upsilon-machine은 미시 정보로 매크로 수준의 미래를 예측하는 더 강력한 예측 모델을 제공하는 반면, epsilon-machine은 매크로 수준의 인과적 구분을 인코딩한다.
• 거시적 epsilon-와 upsilon-머신 간 등가성은 인과 폐쇄를 정의하며, 매크로 수준에서의 개입이 미래 결과를 좌우하는 데 충분함을 시사한다.
• lumpable 시간수열 이론과의 연결은 현실 데이터에서 이러한 특성을 실용적이고 효율적으로 추정할 수 있게 한다.
• 예시로 확산 과정, 스핀 모델, 네트워크상의 무작위 행보, 에이전트 기반 모델, 신경 기억 과정을 포함한다.