[論文レビュー] Facticity as the amount of self-descriptive information in a data set

Pieter Adriaans|arXiv (Cornell University)|Mar 10, 2012

Computability, Logic, AI Algorithms参考文献 22被引用数 9

ひとこと要約

本稿では、コルモゴロフ複雑性を用いて、データセット内の自己記述的情報の尺度として、事実性 φ(x) を導入する。これは、恣意的コンテンツから客観的に分離可能な構造的情報の量として定義される。本稿は、事実性が明確であることを証明する。すなわち、ランダムな文字列では φ(x) = 0 であり、圧縮可能な文字列では 0 < φ(x) < ½|x| + O(1) である。また、事実性の閾値を超える文字列には最適な確率的モデルが存在せず、エントロピーと類似した歯型パターンを示す。これは、複雑系と一致する。

ABSTRACT

Using the theory of Kolmogorov complexity the notion of facticity ϕ(x) of a string is defined as the amount of self-descriptive information it contains. It is proved that (under reasonable assumptions: the existence of an empty machine and the availability of a faithful index) facticity is definite, i.e. random strings have facticity 0 and for compressible strings 0 &lt; ϕ(x) &lt; 1/2 |x| + O(1). Consequently facticity measures the tension in a data set between structural and ad-hoc information objectively. For binary strings there is a so-called facticity threshold that is dependent on their entropy. Strings with facticty above this threshold have no optimal stochastic model and are essentially computational. The shape of the facticty versus entropy plot coincides with the well-known sawtooth curves observed in complex systems. The notion of factic processes is discussed. This approach overcomes problems with earlier proposals to use two-part code to define the meaningfulness or usefulness of a data set.

研究の動機と目的

• 従来の手法の欠陥を回避するため、データセットにおける意味的または有用な情報の形式的かつ客観的な測定を定義すること。
• 二部コードモデルにおける「ニックネーム問題」を解消するため、自己記述的情報の明確で計算可能な測定を導入すること。
• 事実性を明確な測定として確立し、文字列における構造的情報とランダムまたは恣意的コンテンツを客観的に区別すること。
• 事実性とエントロピーおよびアルゴリズム的複雑性を結びつけることで、複雑系、創造性、情報処理の分析の基盤を提供すること。

提案手法

• 前缀フリーなコルモゴロフ複雑性 K(x) と二部コード最適化を用いて、文字列 x における自己記述的情報の量として事実性 φ(x) を定義する。
• 自己区別コードを保証するため、自己区別コードを備えた汎用チューリングマシン U を用いることで、前缀フリー性を確保し、インデックスの病理的振る舞いを回避する。
• スワップマシン補題を適用して、インデックスとデータの役割を一般性を失わずに入れ替えることができることを示し、モデルの対称性を支持する。
• エントロピーに依存する事実性の閾値を導入し、それ以上の事実性を持つ文字列には最適な確率的モデルが存在しないことを示す。
• 構造関数とMDL原理を用いて、モデルとデータのコード長をバランスさせ、構造とノイズの客観的分離を保証する。
• 事実性が明確であることを証明する。これは、過剰適合を避けるために、空のマシンと忠実なインデックス化の仮定の下で、すべてのモデル情報が抽出されることを意味する。

実験結果

リサーチクエスチョン

• RQ1 意味的情報の形式的測定を、客観的かつ明確に定義でき、過剰適合を避けてすべての構造的情報を抽出できるか？
• RQ2 事実性は二進文字列におけるエントロピーおよびアルゴリズム的複雑性とどのように関係するか？また、複雑系で観察されるようなパターンを示すか？
• RQ3 二部コード最適化は、安定的かつ客観的な自己記述的情報の測定を定義するために果たす役割は何か？
• RQ4 事実性は、洗練度や有効複雑性といった従来の手法の限界、特に「ニックネーム問題」を克服できるか？
• RQ5 事実性は、データセットが本質的に計算的であるか、確率的モデルで記述可能でないかを識別する原理的根拠を提供するか？

主な発見

• 事実性 φ(x) が明確であることが証明された。ランダムな文字列では φ(x) = 0 であり、圧縮可能な文字列では 0 < φ(x) < ½|x| + O(1) である。
• エントロピーに依存する閾値を超える事実性を持つ文字列には最適な確率的モデルが存在せず、それらは本質的に計算的性質を持つ。
• 事実性とエントロピーのプロットは、統計力学やアルゴリズム的情報理論で観察される曲線と類似した歯型パターンを示す。
• 忠実なインデックス化の仮定と空のマシンの存在に依存することで、「ニックネーム問題」を克服し、病理的インデックス関数に対するロバスト性を確保する。
• 同一の事実性を持つ複数のモデルが存在可能であるが、これは欠陥ではなく、複数の解釈が同等に妥当であるようなゲシュタルト転換のような現象を反映している。
• 汎用チューリングマシンの選択は定数のバイアスしか導入せず、異なる実装間での漸近的比較可能性を保証する。