[論文レビュー] Algorithmic Information Theory: a brief non-technical guide to the field

Marcus Hütter|arXiv (Cornell University)|Mar 6, 2007

Computability, Logic, AI Algorithms参考文献 7被引用数 7

ひとこと要約

この論文は、アルゴリズム情報理論（AIT）の非技術的概要を提供し、コルモゴロフ次元、ソロモンフ確率、レヴィン探索、マルチン・ロイフのランダムネスといったコアコンセプトを、個々の対象における情報、ランダムネス、単純さを測定する基盤的ツールとして紹介する。これは、機械学習、計算複雑性、普遍的インダクションの主要理論を支える、厳密で客観的なアルゴリズム情報のフレームワークを確立する。

ABSTRACT

This article is a brief guide to the field of algorithmic information theory (AIT), its underlying philosophy, and the most important concepts. AIT arises by mixing information theory and computation theory to obtain an objective and absolute notion of information in an individual object, and in so doing gives rise to an objective and robust notion of randomness of individual objects. This is in contrast to classical information theory that is based on random variables and communication, and has no bearing on information and randomness of individual objects. After a brief overview, the major subfields, applications, history, and a map of the field are presented.

研究の動機と目的

• 学問分野を問わず、研究者に対してアルゴリズム情報理論（AIT）の明確でアクセス可能な紹介を提供すること。
• 特に個々の対象における情報の客観的測定法を含む、AITの哲学的・技術的基盤を明確にすること。
• アルゴリズム的定義を通じて、インダクション、ランダムネス、圧縮に関する長年の問題がどのように解決されるかを説明すること。
• AITの主要な分野とそれらの関係をマップし、分野のナビゲーションを支援すること。
• 機械学習、複雑性理論、物理学におけるAITの実用的および理論的応用を強調すること。

提案手法

• アルゴリズム的複雑性（AC）を、ユニバーサルチューリングマシン上で与えられた文字列を出力する最短プログラムの長さとして定義する。
• アルゴリズム的確率（AP）を、与えられた文字列を出力するすべてのプログラムの和として導出された、文字列上のユニバーサル事前分布として導入する。
• レヴィンのスピードプライアを用いて、時間制限付きで最適な探索法であるユニバーサル探索（US）を提示する。
• アルゴリズム的ランダムネス（AR）を、圧縮不能性によって特徴付ける：文字列が圧縮不能である、すなわちそのアルゴリズム的複雑性が長さに等しい場合にランダムとみなす。
• 複雑性定義における加法的定数を回避するために、プレフィックスチューリングマシンを用いる。
• 圧縮不能性の方法を用いて、計算複雑性理論における証明を簡略化し、物理系におけるランダムネスを分析する。

実験結果

リサーチクエスチョン

• RQ1 確率分布に依存しない、個々の対象における情報量をどのように客観的に測定できるか？
• RQ2 有限な単一文字列の形式的ランダムネスの定義は何か？ そして、古典的確率的概念とはどのように異なるか？
• RQ3 すべての探索問題を、定数倍の意味で最適に解けるユニバーサルな方法を構築できるか？
• RQ4 アルゴリズム的確率が、インダクションと予測の形式的基盤をどのように提供するか？
• RQ5 アルゴリズム的複雑性は、計算複雑性理論やその他の理論的コンピュータサイエンス分野において、証明をどのように簡略化できるか？

主な発見

• アルゴリズム的複雑性は、それらを計算する最短プログラムの長さとして定義されるため、個々の対象における情報の客観的で普遍的な測定法を提供する。
• 文字列が圧縮不能である、すなわちそのアルゴリズム的複雑性が長さに等しい場合、それはアルゴリズム的にランダム（マルチン・ロイフのランダム）である。
• アルゴリズム的確率（ソロモンフの事前分布）は、より単純な説明に高い事前確率を割り当てるため、インダクションの問題に対する形式的で普遍的な解決策を提供する。
• ユニバーサル探索（レヴィン探索）は、乗法的定数の意味で任意の探索問題を最適に解くことができ、AIおよび最適化分野の基盤的メソッドである。
• 圧縮不能性の方法は、ほとんどの文字列が圧縮不能であるという事実を活用することで、計算複雑性理論における証明を簡略化する。
• AITは、最小記述長の原則に対する厳密な基盤を提供し、可逆計算とアルゴリズム的エントロピーを用いて、マクスウェルの悪魔などの熱力学的パラドックスを解消する。