[論文レビュー] An Algorithmic Approach to Emergence

Charles Alexandre Bédard|arXiv (Cornell University)|Jul 16, 2022

Computability, Logic, AI Algorithms参考文献 39被引用数 1

ひとこと要約

本稿では、アルゴリズム的情報理論を用いて、生成現象を定量化的・アルゴリズム的に定式化する枠組みを提案する。生成現象は、観測データを符号化するビット列のコルモゴロフ構造関数の低下として定義される。主な貢献は、不純な停止情報と構造的複雑性の変化に基づく、数学的に厳密で客観的な生成現象の基準を提供することであり、力学系および統計力学への応用によって検証されている。

ABSTRACT

We suggest a quantitative and objective notion of emergence. Our proposal uses algorithmic information theory as a basis for an objective framework in which a bit string encodes observational data. A plurality of drops in the Kolmogorov structure function of such a string is seen as the hallmark of emergence. Our definition offers some theoretical results, in addition to extending the notions of coarse-graining and boundary conditions. Finally, we confront our proposal with applications to dynamical systems and thermodynamics.

研究の動機と目的

• 複雑系における生成現象の客観的・定量化的定義の欠如に応えること。現在の定義は、新奇性に関する主観的または定性的な評価に依存している。
• 特にコルモゴロフ構造関数とアルゴリズム的十分統計量を用いて、生成現象を測定可能な現象として形式化すること。
• 粗粒度化と境界条件を論理的に一貫した方法で扱う枠組みを提供し、臨時的な解釈を超えること。
• 生成現象と不純な停止情報との間の関係を確立し、データが最小モデルから予想されるよりも多くの停止情報を含む場合に生成現象が生じることを示すこと。
• 力学系および統計力学への応用を通じて、この枠組みを実物理現象に適用可能であることを検証すること。

提案手法

• 観測データをバイナリービット列 x として表現し、それをアルゴリズム的情報理論の対象として扱う。
• コルモゴロフ構造関数を適用して、モデルの複雑さとデータへの適合性のトレードオフを分析し、構造的低下を生成現象の指標とする。
• 構造関数の低下がしきい値 Q(α) = ϵ(α) + O(1) を超える場合に生成現象を定義する。ここで ϵ(α) は不純な停止情報を捉える。
• チェーン則と条件付きコルモゴロフ複雑度の境界を用いて、モデルの複雑さのレベルを関連させ、K(α|m)、K(τ|ℓ)、および ℓ∗(n) を含む不等式を導出する。
• 不純な停止情報を測る量 ξ = αi−1 − δ(αi−1) + O(1) を導入し、最小部分モデルの実行時間の計算に必要な最小限の情報量を測定する。
• 異なる複雑さのレベルにおけるモデル間のアルゴリズム的相互情報量 K(Si|Sj) の境界を確立し、生成現象が停止情報の著しい増加を伴うことを示す。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的情報理論を用いて、数学的に厳密で、客観的かつ定量化可能な方法で生成現象を定義できるか？
• RQ2 コルモゴロフ構造関数における構造的複雑さの低下として、生成現象の概念を形式化できるか？
• RQ3 不純な停止情報は、還元可能または予測可能な行動と区別する上で、どのような役割を果たすか？
• RQ4 粗粒度化と境界条件は、アルゴリズム的枠組みにおける生成現象の検出にどのように影響するか？
• RQ5 この枠組みは、力学系や熱力学的プロセスといった実物理系に応用可能か？

主な発見

• 生成現象は、しきい値 Q(α) = ϵ(α) + O(1) を超えるコルモゴロフ構造関数の低下として形式的に定義され、不純な停止情報の存在を示唆する。
• この枠組みにより、複雑さのレベル αi におけるモデル Si は、少なくとも ξ = αi−1 − δ(αi−1) + O(1) ビットの不純な停止情報を含むことが示され、これ以上圧縮できない。
• 異なる複雑さのレベルにおけるモデル間の相互情報量 K(Si|Sj) は、K(Si|Sj) ≤ αi − αi−1 + 3K(αi−1) + O(log log n) で有界であり、生成現象がアルゴリズム的複雑さの著しい増加を伴うことを示す。
• 長さ τ のプログラムで、¯qτ−1 以降に停止するものの数は O(1) で有界であり、これは、アルゴリズム的情報制約に反しない限り、このようなプログラムが多すぎることはないことを意味する。
• この枠組みは粗粒度化および境界条件にまで自然に拡張可能であり、プロファイルにおける構造的低下がこのような変換に対して安定であることが示された。
• 結果として、温度や他のマクロな統計力学的変数が、アルゴリズム的意味で生成的パターンとして見なせることを示した。これらはデータ内に有用で不純な構造を表している。