[논문 리뷰] An Algorithmic Approach to Emergence

Charles Alexandre Bédard|arXiv (Cornell University)|2022. 07. 16.

Computability, Logic, AI Algorithms참고 문헌 39인용 수 1

한 줄 요약

이 논문은 알고리즘 정보이론을 활용하여 기하학적 구조 함수의 감소를 통해 기원을 정량적이고 알고리즘적인 프레임워크로 제안한다. 기원은 관측 데이터를 인코딩하는 비트 문자열의 콜모고로프 구조 함수의 감소로 정의된다. 주요 기여는 불가약한 정지 정보와 구조 복잡도의 변화를 바탕으로 한 수학적으로 엄밀하고 객관적인 기원 기준을 제공하는 것으로, 동역학 시스템과 열역학에 응용하여 검증되었다.

ABSTRACT

We suggest a quantitative and objective notion of emergence. Our proposal uses algorithmic information theory as a basis for an objective framework in which a bit string encodes observational data. A plurality of drops in the Kolmogorov structure function of such a string is seen as the hallmark of emergence. Our definition offers some theoretical results, in addition to extending the notions of coarse-graining and boundary conditions. Finally, we confront our proposal with applications to dynamical systems and thermodynamics.

연구 동기 및 목표

• 복잡계에서 기원에 대한 객관적이고 정량적인 정의가 부족한 문제를 다루며, 현재는 새로운 현상에 대한 주관적 또는 정성적인 평가에 의존하고 있다.
• 특히 콜모고로프 구조 함수와 알고리즘적 충분 통계를 활용하여 알고리즘 정보이론을 통해 기원을 측정 가능한 현상으로 형식화한다.
• 논리적으로 일관된 방식으로 굴곡 및 경계 조건을 고려한 프레임워크를 제공하여, 일시적인 해석을 넘어서는 확장 가능성을 확보한다.
• 기원과 불가약한 정지 정보 사이의 연결 고리를 설정하며, 데이터가 최소 모델에서 예상되는 것보다 더 많은 정지 정보를 포함할 경우 기원이 발생함을 보여준다.
• 동역학 시스템과 열역학에 대한 응용을 통해 프레임워크를 검증하여 실제 물리적 현상과의 관련성을 입증한다.

제안 방법

• 관측 데이터를 이진 비트 문자열 x로 표현하며, 이를 알고리즘 정보이론의 대상으로 간주한다.
• 콜모고로프 구조 함수를 적용하여 모델 복잡도와 데이터 적합도 사이의 트레이드오프를 분석하고, 기원의 지표로 삼을 구조적 감소를 식별한다.
• 기여를 Q(α) = ϵ(α) + O(1)의 임계값을 초과하는 구조 함수의 감소로 정의하며, 여기서 ϵ(α)는 불가약한 정지 정보를 캡처한다.
• 사슬 법칙과 조건부 콜모고로프 복잡도의 경계를 활용하여 모델 복잡도 수준 간의 관계를 유도하고, K(α|m), K(τ|ℓ), ℓ∗(n)를 포함한 부등식을 유도한다.
• 불가약한 정지 정보의 개념을 ξ = αi−1 − δ(αi−1) + O(1)로 도입하며, 이는 최소 부분 모델의 실행 시간을 계산하기 위해 필요한 최소 정보를 측정한다.
• 다른 복잡도 수준의 모델 간 알고리즘 상호정보량 K(Si|Sj)에 대한 경계를 설정하며, 기원이 정지 정보의 급격한 증가를 암시함을 보여준다.

실험 결과

연구 질문

• RQ1 알고리즘 정보이론을 활용하여 기원을 수학적으로 엄밀하고 객관적이며 정량적으로 정의할 수 있는가?
• RQ2 콜모고로프 구조 함수의 구조 복잡도 감소를 기반으로 기원 개념을 어떻게 형식화할 수 있는가?
• RQ3 불가약한 정지 정보는 기원 현상과 감소 가능하거나 예측 가능한 행동을 구분하는 데 어떤 역할을 하는가?
• RQ4 굴곡 및 경계 조건은 알고리즘 프레임워크에서 기원 탐지에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 동역학 시스템과 열역학적 과정과 같은 실제 물리계에 적용될 수 있는가?

주요 결과

• 기원은 콜모고로프 구조 함수의 감소가 임계값 Q(α) = ϵ(α) + O(1)를 초과할 경우로 정의되며, 이는 불가약한 정지 정보의 존재를 시사한다.
• 이 프레임워크는 복잡도 수준 αi에서 모델 Si가 최소 ξ = αi−1 − δ(αi−1) + O(1) 비트의 불가약한 정지 정보를 포함하고 있음을 보여주며, 이는 더 이상 압축될 수 없다.
• 다른 복잡도 수준의 모델 간 상호정보량 K(Si|Sj)는 K(Si|Sj) ≤ αi − αi−1 + 3K(αi−1) + O(log log n)로 경계되며, 이는 기원이 알고리즘 복잡도의 급격한 증가를 암시함을 보여준다.
• 실행 시간이 ¯qτ−1 이후에 정지하는 길이 τ인 프로그램의 수는 O(1)로 경계되며, 이는 이러한 프로그램이 알고리즘 정보 제약을 위반하지 않도록 하기 위해 너무 많아질 수 없다는 것을 의미한다.
• 이 프레임워크는 굴곡 및 경계 조건으로도 성공적으로 확장되며, 프ofile의 구조적 감소가 이러한 변환에 대해 강건함을 보여준다.
• 결과는 온도와 같은 열역학적 매크로스코픽 변수들이 알고리즘적 의미에서 기원 패턴으로 간주될 수 있음을 입증하며, 이는 데이터 내에서 유용하고 불가약한 구조를 나타내기 때문이다.