[論文レビュー] A statistical mechanical interpretation of algorithmic information theory

Kohtaro Tadaki|ArXiv.org|Jan 28, 2008

Neural Networks and Applications被引用数 4

ひとこと要約

本稿は、プログラムサイズ複雑度の枠組みに自由エネルギー、エントロピー、エネルギー、比熱といった熱力学的量を導入することにより、アルゴリズム的情報理論に統計力学的解釈を確立する。温度がすべての熱力学的量、自分自身を含めて、圧縮率として機能することを明らかにし、自己言及的性質を反映する圧縮率に関する不動点定理を導く。

ABSTRACT

We develop a statistical mechanical interpretation of algorithmic information theory by introducing the notion of thermodynamic quantities, such as free energy, energy, statistical mechanical entropy, and specific heat, into algorithmic information theory. We investigate the properties of these quantities by means of program-size complexity from the point of view of algorithmic randomness. It is then discovered that, in the interpretation, the temperature plays a role as the compression rate of the values of all these thermodynamic quantities, which include the temperature itself. Reflecting this self-referential nature of the compression rate of the temperature, we obtain fixed point theorems on compression rate.

研究の動機と目的

• 熱力学的概念を用いて、アルゴリズム的情報理論に厳密な統計力学的解釈を構築すること。
• 平衡統計力学の観点から、プログラムサイズ複雑度とアルゴリズム的ランダムネスを解釈すること。
• 自由エネルギー、エントロピー、比熱といった熱力学的量の物理的意味を、アルゴリズム的情報理論の文脈で明確にすること。
• 温度がすべての熱力学的量、自分自身を含めて圧縮率として機能するという自己言及的役割を明らかにすること。
• 特に分配関数と正準集合を介して、アルゴリズム的情報理論と統計力学の間の正式な対応関係を確立すること。

提案手法

• プログラムサイズ複雑度を用いて、自由エネルギー、エネルギー、エントロピー、比熱といった熱力学的量をアルゴリズム的情報理論に導入する。
• 分配関数 $ Z(T) = \sum_{p \in \text{dom}\,U} 2^{-|p|/T} $ を定義し、$ D = 1/T $ のとき、チャイチンの $ \Omega^D $ の形と一致することを示す。
• 確率分布 $ R(p) = \frac{1}{Z(T)} 2^{-|p|/T} $ を用いて、正準集合として系をモデル化し、統計力学におけるギブス測度に対応させる。
• 自由エネルギー $ F(T) = -T \log_2 Z(T) $、期待プログラム長 $ E(T) $、エントロピー $ S(T) = \frac{1}{T}E(T) + \log_2 Z(T) $、比熱 $ C(T) = E'(T) $ の式を導出する。
• 微小集合と正準集合の形式的対応を用いて、アルゴリズム的情報理論と統計力学の間の写像を確立する。
• 温度が圧縮率としての自己言及的性質を有することを活用し、圧縮率に関する不動点定理を導出する。

実験結果

リサーチクエスチョン

• RQ1 自由エネルギー、エントロピー、比熱といった熱力学的量を、アルゴリズム的情報理論において意味的に定義することは可能か？
• RQ2 プログラムサイズ複雑度とアルゴリズム的ランダムネスの文脈において、分配関数 $ Z(T) $ の物理的解釈は何か？
• RQ3 温度 $ T $ が自由エネルギー、エントロピー、比熱といった熱力学的量、自分自身を含めて、どのように圧縮率として機能するか？
• RQ4 温度が圧縮率としての自己言及的性質を有することから、どのような不動点定理が導かれるか？
• RQ5 平衡統計力学と完全な一致を達成できる程度に、アルゴリズム的情報理論に対する統計力学的解釈を構築できるか？

主な発見

• アルゴリズム的情報理論における分配関数 $ Z(T) $ は、$ D = 1/T $ のとき、チャイチンの $ \Omega^D $ の形と一致し、アルゴリズム的ランダムネスと直接的な関係を確立する。
• 自由エネルギーは $ F(T) = -T \log_2 Z(T) $ で与えられ、期待プログラム長は $ E(T) = \frac{1}{Z(T)} \sum_{p \in \text{dom}\,U} |p| \, 2^{-|p|/T} $ であり、$ E(L,N) = E(T(L,N)) $ を満たす。
• 統計力学的エントロピー $ S(E(L,N),1) $ は、分布 $ R(p) $ のシャノンエントロピーと一致し、情報理論的エントロピーと整合性を確認する。
• 比熱は $ C(T) = E'(T) $ として定義され、期待プログラム長が温度変化に対してどれほど感度を示すかを捉える。
• 温度 $ T $ は、すべての熱力学的量、自分自身を含めて、圧縮率として機能し、圧縮率に関する不動点定理を導く。
• 形式的枠組みは、すべての熱力学的量が正準集合と分配関数から導出されることを特徴とし、平衡統計力学と完全な対応関係を実現する。