[論文レビュー] Coding-theorem Like Behaviour and Emergence of the Universal Distribution from Resource-bounded Algorithmic Probability

Héctor Zenil, Liliana Badillo+2 more|arXiv (Cornell University)|Nov 6, 2017

Computability, Logic, AI Algorithms参考文献 36被引用数 37

ひとこと要約

この論文は、チューリング完全性より低いリソース制限付き計算モデルから、アルゴリズム的確率と普遍分布がどのように生じるかを調査する。有限状態機械、文脈自由文法、線形有界オートマトンのシミュレーションを通じて、弱いモデルですら普遍分布と強く相関する出力分布を生成することを示し、単純さ／複雑さバイアスの最大60％を説明可能である。これは、実世界のシステムにおけるアルゴリズム的複雑性の実用的かつ計算可能な近似を提供し、従来のエントロピーおよび圧縮手法を凌駆する。

ABSTRACT

Previously referred to as `miraculous' in the scientific literature because of its powerful properties and its wide application as optimal solution to the problem of induction/inference, (approximations to) Algorithmic Probability (AP) and the associated Universal Distribution are (or should be) of the greatest importance in science. Here we investigate the emergence, the rates of emergence and convergence, and the Coding-theorem like behaviour of AP in Turing-subuniversal models of computation. We investigate empirical distributions of computing models in the Chomsky hierarchy. We introduce measures of algorithmic probability and algorithmic complexity based upon resource-bounded computation, in contrast to previously thoroughly investigated distributions produced from the output distribution of Turing machines. This approach allows for numerical approximations to algorithmic (Kolmogorov-Chaitin) complexity-based estimations at each of the levels of a computational hierarchy. We demonstrate that all these estimations are correlated in rank and that they converge both in rank and values as a function of computational power, despite fundamental differences between computational models. In the context of natural processes that operate below the Turing universal level because of finite resources and physical degradation, the investigation of natural biases stemming from algorithmic rules may shed light on the distribution of outcomes. We show that up to 60\% of the simplicity/complexity bias in distributions produced even by the weakest of the computational models can be accounted for by Algorithmic Probability in its approximation to the Universal Distribution.

研究の動機と目的

• チューリング完全性より低いサブユニバーサル計算モデルにおける普遍分布およびアルゴリズム的確率の生成メカニズムを調査すること。
• チョムスキー階層に沿った異なる計算モデルにおけるアルゴリズム的複雑さの近似の収束性およびコーディング定理に類似した挙動を評価すること。
• 完全な計算能力を欠くにもかかわらず、有限でリソース制限付きのモデルが普遍分布を高い忠実度で近似可能かどうかを評価すること。
• シャノンエントロピーおよび損失なし圧縮といった従来の推定手法と比較して、リソース制限付きのアルゴリズム的確率の性能を評価すること。
• 物理的制約やリソース制約によってチューリング完全性を下回る自然現象がどのように影響を受けるかの意味を検討すること。

提案手法

• 有限状態トランスデューサ（FST）、文脈自由文法（CFG）、線形有界オートマトン（LBA）を、計算能力を段階的に増加させながらシミュレートし、出力分布を生成すること。
• 生成された文字列の経験的頻度分布を用いて、アルゴリズム的確率の近似を計算すること。
• アルゴリズム的コーディング定理を適用し、文字列の頻度とアルゴリズム的複雑さの関係を確立。確率の逆数を複雑さの推定値として用いる。
• 普遍分布のベンチマークとして、小さなユニバーサルチューリングマシン（TM(5,2)）の経験的分布と比較すること。
• ランク相関および値収束指標を用いて、異なるモデル間の分布の類似度を評価すること。
• 標準的な複雑さ推定手法（シャノンエントロピーおよび損失なし圧縮（Compress））との性能比較を実施すること。

実験結果

リサーチクエスチョン

• RQ1 チューリング完全性より低いリソース制限付きモデルは、普遍分布の統計的性質をどの程度再現するか。
• RQ2 チョムスキー階層の異なる計算モデルにおいて、アルゴリズム的複雑さの近似はどの程度速くかつ一貫して収束するか。
• RQ3 計算能力に制限のあるアルゴリズム的確率の有限近似は、弱い計算モデルで観察される単純さ／複雑さバイアスの大部分を説明可能か。
• RQ4 停止しないモデル（非停止モデル）は、停止するモデルと比較して、文字列カバー範囲および普遍分布への分布的類似度においてどのように異なるか。
• RQ5 シャノンエントロピーおよび損失なし圧縮と比較して、リソース制限付きのアルゴリズム的確率は、アルゴリズム的複雑さの推定において相対的にどの程度優れているか。

主な発見

• FST、CFG、LBA の出力分布は、小さなチューリングマシン（TM(5,2)）から導かれた普遍分布と強くランク相関を示し、コーディング定理に類似した挙動が顕在化していることが判明した。
• 最も弱いモデルである有限状態トランスデューサ（FST）ですら、アルゴリズム的確率近似によって、出力分布に観察される単純さ／複雑さバイアスの最大60％を説明可能である。
• 線形有界オートマトン（LBA）は、ランク収束および値収束の両面で、サブユニバーサルモデルの中で普遍分布への最も正確な近似を実現している。
• 計算コストが高かろうと、CFG は普遍分布と高い相関を持つ分布を生成するが、大規模なサンプリングにおいて LBA よりも非効率である。
• リソース制限付きのアルゴリズム的確率近似は、特に高いアルゴリズム的ランダムネスを示す文字列に対して、シャノンエントロピーおよび損失なし圧縮を凌駆して、アルゴリズム的複雑さの推定において優れた性能を示した。
• 非停止モデル（例：LBA）は、完全なチューリングマシンではなく、LBA に近い分布に収束する傾向を示しており、ユニバーサル性より低い自然な漸近的限界が存在することを示唆している。