[論文レビュー] Towards a stable definition of Kolmogorov-Chaitin complexity

Jean‐Paul Delahaye, Héctor Zenil|arXiv (Cornell University)|Apr 22, 2008

Computability, Logic, AI Algorithms参考文献 9被引用数 12

ひとこと要約

本稿では、チューリング機械やセルオートマトンなどの計算モデルが共通の出力確率分布に収束することを特定することで、安定的で言語に依存しないコルモゴロフ・チェイティン複雑性の定義を提案する。『自然』なモデルを、複雑さの相対的順序（小さな定数の範囲内で順序を保つ）を維持するものとして定義することで、著者たちは、異なるユニバーサルマシン間で安定したアルゴリズム的複雑性を実現する枠組みを構築し、加法的定数による不安定性を克服する。

ABSTRACT

Although information content is invariant up to an additive constant, the range of possible additive constants applicable to programming languages is so large that in practice it plays a major role in the actual evaluation of K(s), the Kolmogorov-Chaitin complexity of a string s. Some attempts have been made to arrive at a framework stable enough for a concrete definition of K, independent of any constant under a programming language, by appealing to the "naturalness" of the language in question. The aim of this paper is to present an approach to overcome the problem by looking at a set of models of computation converging in output probability distribution such that that "naturalness" can be inferred, thereby providing a framework for a stable definition of K under the set of convergent models of computation.

研究の動機と目的

• 異なるプログラミング言語やユニバーサルチューリング機械間での任意の加法的定数によるコルモゴロフ・チェイティン複雑性の不安定性を解消すること。
• 文字列の複雑さの相対的順序を一貫して保つ『自然さ』の基準を、計算モデルに定義すること。
• 多様な計算モデルにおける出力分布の収束を分析することで、アルゴリズム的確率のための安定的で普遍的な基準分布 D_N を確立すること。
• チューリング機械とセルオートマトンからの経験的分布を用いて、短い文字列に対しても実用的で実験的根拠に基づくコルモゴロフ・チェイティン複雑性の近似フレームワークを提供すること。
• 収束する確率分布と順序分布が普遍的極限に近づくという推測と実験を通じて、手法の妥当性を検証すること。

提案手法

• 計算モデルを『自然』と定義する。これは、c = 0.01 のもとで c-コルモゴロフ・チェイティン順序を保つ、つまり異なるモデル間で文字列の複雑さの相対的順序を維持するものである。
• 有限ユニバーサルチューリング機械（TM(n)）と基本的セルオートマトン（CA(n)）からの経験的頻度分布を用い、出力確率分布 pr(D_N(n)) と順序ランク ord(D_N(n)) を計算する。
• n を増加させた際のこれらの分布と順序の収束を分析し、収束が生じることで普遍的安定分布 D_N が存在すると仮定する。
• 異なるモデル（TMs と CAs）の分布を比較し、それらが同じ極限に収束するかどうかを検証することで、普遍的自然事前分布の存在を支持する。
• 順序の保存度を測る統計的指標として、ケンダールの順位相関係数を用いる。
• TM(2,2) と CA(1) からの実験的データを用いて、分布の収束と複雑さランクの安定性を経験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 出力確率分布が収束する計算モデルを同定することで、安定的で言語に依存しないコルモゴロフ・チェイティン複雑性の定義を達成できるか？
• RQ2 チューリング機械やセルオートマトンなどの異なる計算モデルは、どの程度同じ文字列複雑さの相対的順序を生成するか？
• RQ3 多様な計算モデルからの出力分布の極限として、普遍的確率分布 D_N が出現するか。その分布がアルゴリズム的情報理論における自然事前分布として機能するか？
• RQ4 計算における『自然さ』の概念を、コルモゴロフ・チェイティン複雑さの順序保存という観点から、形式的かつ定量的に定義・測定できるか？
• RQ5 有限計算モデルからの経験的分布は、理論的普遍分布 m(s) を信頼性高く近似でき、非計算可能な K(s) の実用的代替手段として有効か？

主な発見

• 経験的結果から、チューリング機械とセルオートマトンからの出力確率分布が n の増加に従い共通の極限に収束することが示され、普遍的自然分布 D_N の存在を支持する。
• 十分に大きな n に対して、異なるモデル間で文字列複雑さの順序（K(s) によるランク付け）が安定化し、閾値 k を超えるとすべてのモデルが c = 0.01 の範囲で c-順序保存的であると推測される。
• 予想5および6は、TM および CA モデルの極限分布が同じ普遍的分布に収束することを示唆し、異なる計算パラダイム間で本フレームワークの強靭性が裏付けられる。
• ケンダールの順位相関係数の使用により、自然さの度合いが定量的に測定可能であり、収束が達成された場合、モデル間で複雑さランクに高い一致が得られることが示された。
• 本フレームワークにより、短い文字列に対する K(s) の近似に実用的で実験的根拠に基づくアプローチが可能となり、コルモゴロフ・チェイティン複雑性の非計算性を克服できる。
• 結果は、理論的 m(s) を計算できない状況においても、有限モデルからの経験的分布を安定的で自然な事前分布として用いることが可能であることを支持する。