[論文レビュー] Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility

Héctor Zenil, Fernando Soler Toscano+2 more|arXiv (Cornell University)|Dec 30, 2012

Computability, Logic, AI Algorithms参考文献 16被引用数 25

ひとこと要約

本稿では、2次元チューリング機械（Turmites）を用いた2次元コルモゴロフ・コンプレックスィティ測度を提案し、損失なし圧縮との整合性および異なる計算形式間での安定性を確認することで、画像や空間時間パターンのアルゴリズム的複雑性を推定する。この手法は、アルゴリズム的確率とコーディング定理法に基づくもので、短いかつ複雑な2次元構造に対して、圧縮の代替手段として信頼性が高くスケーラブルな代替手段を提供する。

ABSTRACT

We propose a measure based upon the fundamental theoretical concept in algorithmic information theory that provides a natural approach to the problem of evaluating $n$-dimensional complexity by using an $n$-dimensional deterministic Turing machine. The technique is interesting because it provides a natural algorithmic process for symmetry breaking generating complex $n$-dimensional structures from perfectly symmetric and fully deterministic computational rules producing a distribution of patterns as described by algorithmic probability. Algorithmic probability also elegantly connects the frequency of occurrence of a pattern with its algorithmic complexity, hence effectively providing estimations to the complexity of the generated patterns. Experiments to validate estimations of algorithmic complexity based on these concepts are presented, showing that the measure is stable in the face of some changes in computational formalism and that results are in agreement with the results obtained using lossless compression algorithms when both methods overlap in their range of applicability. We then use the output frequency of the set of 2-dimensional Turing machines to classify the algorithmic complexity of the space-time evolutions of Elementary Cellular Automata.

研究の動機と目的

• 画像や離散系の空間時間図などの2次元オブジェクトのための自然で客観的なアルゴリズム的複雑性の測定法を開発すること。
• 特に適用範囲の重複領域において、損失なし圧縮をベンチマークとして用いて、コーディング定理法（CTM）の2次元複雑性推定の妥当性を検証すること。
• ヘッド移動ルール、状態／記号数、グリッド対テープモデルなどの計算形式パラメータの変更に対しても、この手法の安定性と頑健性を示すこと。
• 3x3のパッチを超える大きな2次元配列のスケーラブルな複雑性推定を可能にするために、ブロック分解法（BDM）を導入・適用すること。
• 2次元チューリング機械の出力周波数分布を用いて、Elementary Cellular Automata（ECA）の空間時間発展のアルゴリズム的複雑性に基づく分類を実施すること。

提案手法

• 単純で対称的なルールから2次元パターンの分布を生成するために、2次元決定的チューリング機械（Turmites）を用い、アルゴリズム的確率を活用して複雑性推定値を割り当てる。
• アルゴリズム的確率理論におけるレヴィンのコーディング定理を適用し、ユニバーサル分布におけるパターン生成頻度の逆数として、コルモゴロフ・コンプレックスィティを推定する。
• ブロック分解法（BDM）を用いて、大きな2次元配列を小さな重複する正方形パッチ（例：3x3）に分解し、それらの複雑性推定値を統合することで、より大きな画像へのスケーリングを実現する。
• 同様の複雑性を持つ文字列のグループに分け、圧縮バイアスを避けるために、CTMに基づく複雑性推定値と損失なし圧縮アルゴリズム（例：gzip, bzip2）から得られる推定値を比較する。
• 公開アクセスを可能にするために、オンライン・アルゴリズム的複雑性計算機（http://www.complexitycalculator.com）を活用し、$K_m$および将来の$K_{m,2D}$推定値を提供する。
• ECAルールの発展およびTurmiteが生成するパターンに対する実験を実施し、複雑性順位付けを圧縮結果と比較し、収束の安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 2次元チューリング機械（Turmites）から一貫して2次元パターンのアルゴリズム的複雑性を反映する2次元コルモゴロフ・コンプレックスィティ測度を導出できるか？
• RQ2 適用範囲の重複領域において、2次元複雑性推定のコーディング定理法（CTM）は、損失なし圧縮と比較してどのように評価されるか？
• RQ3 ヘッド移動ルール、状態数、記号数、あるいは計算形式パラメータの変更に対しても、CTMに基づく複雑性推定は安定しているか？
• RQ4 ブロック分解法（BDM）は、3x3パッチを超える大きな2次元配列の複雑性推定をどれほどスケーリング可能に保ちながら正確性を維持できるか？
• RQ5 2次元チューリング機械の出力周波数分布は、Elementary Cellular Automata（ECA）の空間時間図のアルゴリズム的複雑性を信頼性高く分類できるか？

主な発見

• CTMに基づく2次元複雑性測定は、適用範囲の重複領域において損失なし圧縮結果と強い整合性を示し、補完的推定器としての妥当性が確認された。
• アルゴリズム的確率においてよりランダムとされる文字列は一貫して圧縮しにくく、よりランダムでない文字列はより圧縮しやすいという結果が得られ、理論的関係であるアルゴリズム的確率と圧縮性の結びつきが裏付けられた。
• ヘッド移動ルール、状態／記号数、グリッド対テープモデルなどのチューリング機械形式の変更に対しても、この手法は安定しており、収束速度が速く、モデルパラメータに敏感でないことが示された。
• ブロック分解法（BDM）により、3x3パッチを超える2次元配列の複雑性推定がスケーラブルに可能となり、より大きな画像や複雑な系の分析が現実可能となった。
• Turmiteが生成するパターンの周波数分布に基づくElementary Cellular Automata（ECA）の分類は、圧縮結果および1次元チューリング機械の結果と整合しており、異なる計算モデル間での一貫性が確認された。
• 本手法は、3x3およびそれ以上の画像パッチに対してコルモゴロフ・コンプレックスィティの正確な数値近似を提供でき、人工生命、ロボット工学、神経科学などの分野への広範な応用が可能である。