[論文レビュー] Thermodynamic Depth of Causal States: When Paddling around in Occam's Pool Shallowness Is a Virtue

James P. Crutchfield, Cosma Rohilla Shalizi|arXiv (Cornell University)|Aug 13, 1998

Computability, Logic, AI Algorithms参考文献 18被引用数 6

ひとこと要約

この論文は、計算力学からの因果状態を用いて熱力学的深さを再定義し、最小の深さ（「ダイブ」）が逆時系列のシャノンエントロピー率に等しいことを示している。εマシン表現に基づくことで、恣意的なマクロ状態選択を回避し、予測に最適な浅いモデルとしてεマシンを特定する、原則的で構造に敏感な複雑性の測度を確立する。

ABSTRACT

Thermodynamic depth is an appealing but flawed structural complexity measure. It depends on a set of macroscopic states for a system, but neither its original introduction by Lloyd and Pagels nor any follow-up work has considered how to select these states. Depth, therefore, is at root arbitrary. Computational mechanics, an alternative approach to structural complexity, provides a definition for a system's minimal, necessary causal states and a procedure for finding them. We show that the rate of increase in thermodynamic depth, or {\it dive}, is the system's reverse-time Shannon entropy rate, and so depth only measures degrees of macroscopic randomness, not structure. To fix this we redefine the depth in terms of the causal state representation---$ε$-machines---and show that this representation gives the minimum dive consistent with accurate prediction. Thus, $ε$-machines are optimally shallow.

研究の動機と目的

• 熱力学的深さの根本的欠陥に取り組む：恣意的なマクロ状態定義に依存していること。
• 複雑性を測定するための、原則的で最小のシステム因果構造表現を特定すること。
• 深さの増加率（ダイブ）が逆時系列エントロピー率に一致することを示し、深さが構造よりもランダムネスに注目していることを明らかにすること。
• εマシンを用いて熱力学的深さを再定義し、正確な予測と整合する最小の深さを保証すること。
• εマシンが予測の観点から最適に浅い表現であることを確立すること。

提案手法

• 確率過程から最小で必要な因果状態（εマシン）を計算力学を用いて導出する。
• 熱力学的深さをεマシンの構造に基づいて定義し、恣意的なマクロ状態の代わりに因果状態を用いる。
• ダイブを逆時系列シャノンエントロピー率として導出し、深さの増加率を定量化する。
• 標準的な熱力学的深さは、恣意的なマクロ状態に依存するため、構造的複雑性ではなくマクロスケールのランダムネスを測定していることを示す。
• εマシン表現は、予測の正確性を保ちながらダイブを最小化できることを示し、最適な浅いモデルであることを裏付ける。
• エントロピー率や因果状態を含む情報理論的ツールを用いて、構造に敏感な複雑性測度を形式化する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして熱力学的深さを再定義し、恣意的なマクロ状態選択に依存しなくてもよいか？
• RQ2 確率過程における熱力学的深さと逆時系列エントロピー率の関係は何か？
• RQ3 因果状態表現（εマシン）は、熱力学的深さの最小で原則的定義を提供できるか？
• RQ4 なぜ標準的な熱力学的深さの概念は構造的複雑性を測定するのに不適切なのか？
• RQ5 予測のための最適で最小の深さ表現は存在するのか？その性質は何か？

主な発見

• 熱力学的深さの増加率、すなわち「ダイブ」は、数学的にプロセスの逆時系列シャノンエントロピー率に等しい。
• 標準的な熱力学的深さは、恣意的なマクロ状態定義に依存するため、構造的複雑性を測定できず、むしろマクロスケールのランダムネスを測定している。
• εマシンに基づいて深さを再定義することで、正確な予測と整合し、構造に敏感な複雑性を反映する最小のダイブを確立した。
• εマシン表現は、プロセスを正しく予測するあらゆるモデルの中で最も低いダイブを達成しており、最適に浅い表現である。
• 因果状態表現は、構造的複雑性を測定するための原則的で恣意的でない基盤を提供し、従来の深さ測定の主要な限界を解消する。
• 本論文は、「浅さ」—εマシンに体現される—が欠陥ではなく、複雑系の最小で正確なモデル化を可能にする優れた特徴であると結論づける。