[論文レビュー] Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness

Jean-Paul Delahaye, Héctor Zenil|Jan 25, 2011

Computability, Logic, AI Algorithms被引用数 4

ひとこと要約

本稿では、バビースター問題を介して、停止時間が既知の2記号4状態の決定的チューリングマシンを全通りシミュレートすることにより、短いビット列（最大16ビット）のアルゴリズム的複雑さを推定する新しい数値的手法を提案する。得られた出力周波数分布を基に、レヴィン＝ゾブリン＝チェイティン符号化定理を適用し、アルゴリズム的確率を導出し、結果としてコルモゴロフ＝チャイティン複雑さを推定する。これは、圧縮に基づく推定器に比べて定数に依存せず、マシンサイズにわたって強い経験的整合性を示す、堅牢な代替手法を提供する。

ABSTRACT

We describe an alternative method (to compression) that combines several theoretical and experimental results to numerically approximate the algorithmic (Kolmogorov-Chaitin) complexity of all $\sum_{n=1}^82^n$ bit strings up to 8 bits long, and for some between 9 and 16 bits long. This is done by an exhaustive execution of all deterministic 2-symbol Turing machines with up to 4 states for which the halting times are known thanks to the Busy Beaver problem, that is 11019960576 machines. An output frequency distribution is then computed, from which the algorithmic probability is calculated and the algorithmic complexity evaluated by way of the (Levin-Zvonkin-Chaitin) coding theorem.

研究の動機と目的

• 圧縮に基づく手法が加法的定数のオーバーヘッドにより失敗する短い文字列におけるアルゴリズム的複雑さの推定という課題に対処すること。
• 損失を伴う圧縮ヒューリスティクスに依存しない、直接的で実験的なアルゴリズム的複雑さの近似法を開発すること。
• 小さなチューリングマシンの出力周波数分布を分析することで、ランダムネスの内部構造を探ること。
• マシン状態空間の拡大に伴って、アルゴリズム的複雑さの順序付けの安定性と整合性を検証すること。

提案手法

• バビースター問題から停止時間が既知の11,019,960,576個の2記号4状態の決定的チューリングマシンを全通りシミュレートする。
• すべての停止出力を記録し、最大16ビットのビット列の経験的周波数分布 D を構築する。
• レヴィン＝ゾブリン＝チェイティン符号化定理を適用し、出力周波数からアルゴリズム的確率 m(s) を導出し、関係式 C(s) ≈ -log₂m(s) を用いる。
• 得られた分布を用いて、長さ ≤8 ビットのすべての文字列および長さ16ビットまでの選択された文字列のアルゴリズム的複雑さ値を計算する。
• スピアマン順位相関係数を用いて、異なるマシン状態空間（n=1 から 4）における文字列順位の整合性を検証する。
• 推定された複雑さ値の固有の非整数性に注意を払い、相対的なアルゴリズム的単純さを高精度に測定するための細分化された指標として解釈する。

実験結果

リサーチクエスチョン

• RQ1 加法的定数のため圧縮に失敗する短い文字列において、アルゴリズム的複雑さを信頼性高く推定できるか？
• RQ2 3状態から4状態へのマシン状態空間の拡大に伴い、アルゴリズム的複雑さの順位はどの程度安定するか？
• RQ3 小さなチューリングマシンからの出力周波数分布は、文字列の真のアルゴリズム的確率をどの程度反映しているか？
• RQ4 符号化定理アプローチは、マシンの複雑さが増すに従って、一貫性があり意味のある複雑さ値を生成するのか？
• RQ5 計算モデルの選択（例：2記号4状態チューリングマシン）が、結果としての複雑さ分類にどのように影響するか？

主な発見

• 本手法は、長さ8ビットのすべての256個のビット列および長さ16ビットまでの選択された文字列について、アルゴリズム的複雑さの推定値を計算し、包括的な数値データセットを提供した。
• 4状態チューリングマシンのシミュレーションから得られた出力周波数分布は、小さいマシン状態空間（n=1 から 4）からの文字列の相対順位を保持しており、高いスピアマン順位相関係数により強い整合性が示された。
• D(3) と D(4) の間で文字列順位の最初の乖離が20位目で発生したため、上位20位の最も頻出する文字列はマシンサイズにかかわらず相対順位を維持していた。
• 推定されたアルゴリズム的複雑さ値は非整数であり、文字列間の相対的な単純さを高精度に比較可能な細分化された構造を反映している。
• 普遍的チューリングマシンや圧縮アルゴリズムの任意の選択に依存するのを減らし、従来の推定器に代わる、下からの実験的根拠に基づく代替手法を提供した。
• 結果から、小さなユニバーサルチューリングマシンからのアルゴリズム的確率が、自然で定数に依存しない複雑さ測定のための分布を提供する可能性があると示唆された。