[論文レビュー] Sets Have Simple Members

Samuel Epstein, Leonid A. Levin|arXiv (Cornell University)|Jul 7, 2011

Computability, Logic, AI Algorithms参考文献 3被引用数 13

ひとこと要約

この論文は、文字列の集合 D の普遍的確率 M(D) が、その要素の個々の普遍的確率 M({x}) の最大値によってきわめて厳密に束縛されることを確立している。両者の対数の差は、D と停止列 H 間のアルゴリズム的相互情報量 j = I(D:H) で制限される。主な結果は、D のすべての文字列がコルモゴロフ次元 K(x) > k を満たすならば、D は各メンバーに対して i ビット以上の情報を伝えられることであり、ここで i + j ≈ k であり、D 自体を生成するために顕著なアルゴリズム的情報は使用できないことである。

ABSTRACT

The combined Universal Probability M(D) of strings x in sets D is close to max M({x}) over x in D: their ~logs differ by at most D's information j=I(D:H) about the halting sequence H. Thus if all x have complexity K(x) >k, D carries >i bits of information on each its x where i+j ~ k. Note that there are no ways to generate D with significant I(D:H).

研究の動機と目的

• 集合 D の普遍的確率とその個々のメンバーの普遍的確率との関係を理解すること。
• 集合 D と停止列 H 間の相互情報量が与えられたとき、D がメンバーについて運ぶことができるアルゴリズム的情報量を定量化すること。
• メンバーの複雑さと情報含量に基づいて、集合の圧縮可能性と生成可能性に根本的な限界を確立すること。
• 停止列 H について顕著なアルゴリズム的情報を持たずに、集合 D を生成することはできないことの裏付けとして、集合の情報含量に上限が存在することを示すこと。

提案手法

• 普遍的事前分布の下で、集合 D に含まれるすべての文字列 x について、M(D) を D のすべての文字列の確率の合計として定義する。
• M(D) を D における x についての max M({x}) と比較し、その対数の差が、D と停止列 H 間のアルゴリズム的相互情報量 I(D:H) で制限されることを示す。
• 不変定理とアルゴリズム的確率の枠組みを用いて、集合の情報含量がメンバーに対してどのように制限されるかを導出する。
• K(x) > k がすべての x ∈ D で成り立つならば、D は各 x に対して少なくとも i ビットの情報を運ぶ必要があるという恒等式を適用する。ここで i + j ≈ k であり、j = I(D:H) である。
• I(D:H) の本質的限界により、D を生成するために顕著なアルゴリズム的情報を使用することはできないことを示す。
• 停止列 H はアルゴリズム的にランダムであるため、非自明な相互情報量 j を持つ集合 D は、低複雑さの記述からは生成できないという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 集合 D の普遍的確率は、そのメンバーの最大普遍的確率とどのように関係するか？
• RQ2 log M(D) と log max M({x}) の差の、x ∈ D におけるきわめてタイトな上限は何か？
• RQ3 集合 D が停止列 H との相互情報量を持つ場合、D はメンバーについてどの程度のアルゴリズム的情報を運ぶことができるか？
• RQ4 集合 D は、停止列 H について顕著なアルゴリズム的情報を用いて生成可能か？ もし不可能ならば、その理由は何か？
• RQ5 相互情報量 j = I(D:H) は、D 及びそのメンバーの複雑さにどのような制約を課えるか？

主な発見

• D における M(D) と max M({x}) の対数の差は、アルゴリズム的相互情報量 j = I(D:H) で制限され、M(D) が D の最も確率の高いメンバーに非常に近いことを保証する。
• D に属するすべての文字列 x がコルモゴロフ次元 K(x) > k を満たすならば、D は各メンバーに対して i ビット以上の情報を伝えられることになる。ここで i + j ≈ k であり、j = I(D:H) である。
• 停止列 H の本質的圧縮不能性により、D を生成するために顕著なアルゴリズム的情報を使うことはできない。
• j = I(D:H) の境界は、メンバーの個々の複雑さを超えて D がメンバーについて運ぶことができる情報量の根本的限界を示している。
• この結果は、内部の複雑さが高いために、効率的に記述されたり生成されたりできない集合が存在することを示唆しており、特に停止列に関連するものに顕著である。
• この枠組みは二重性を確立する：メンバーの複雑さが高く、H との相互情報量が低い場合、D は全体として極めて複雑になり、圧縮可能性が制限される。