[論文レビュー] A Short Introduction to Kolmogorov Complexity

Volker Nannen|arXiv (Cornell University)|May 13, 2010

Computability, Logic, AI Algorithms参考文献 6被引用数 6

ひとこと要約

この論文は、前綴複雑性を焦点として、アルゴリズム的ランダムネスの普遍的で数学的に整合性のある測度であるコルモゴロフ複雑性について簡潔な紹介を提供する。MDL（最小記述長）と最小ランダムネス不足、およびコルモゴロフ構造関数との間の基礎的関係を確立し、MDLと最小ランダムネス不足が対数的項の差異を除いて等価であることを示している。

ABSTRACT

This is a short introduction to Kolmogorov Complexity. The interested reader is referred to the text books by Cover & Thomas as well as Li & Vítanyi, which cover the fields of information theory and Kolmogorov complexity in depth and with all the necessary rigor.

研究の動機と目的

• 加法的定数の範囲内で計算モデルに依存しない、アルゴリズム的ランダムネスの普遍的測度としてのコルモゴロフ複雑性を導入すること。
• 通常の複雑性と前綴複雑性の違いを明確にし、前綴複雑性が数学的に優れている点を強調すること。
• ランダムネス不足を用いた典型性の概念を確立し、与えられたモデルに対して文字列がどれほど代表的であるかを評価する基準とする。
• コルモゴロフ構造関数、最小ランダムネス不足、最小記述長といったアルゴリズム的情報理論の主要概念を、対数的項の差異を除いて等価であることを示すことで統一すること。

提案手法

• 前綴コルモゴロフ複雑性 $K(s)$ を、ユニバーサルチューリングマシン（UTM）上で文字列 $s$ を出力する最短の自己区切りプログラムの長さとして定義する。
• 条件付きコルモゴロフ複雑性 $K(s|a)$ を、補助入力 $a$ が与えられたもとで $s$ を出力する最短プログラムとして定義し、$K(s) = K(s|\epsilon)$ とする。
• コルモゴロフ構造関数 $h_s(\alpha) = \min_{\mathcal{S}}[\log|\mathcal{S}| : \mathcal{S} \ni s, \; K(\mathcal{S}) \leq \alpha]$ を形式化し、複雑さが $\leq \alpha$ であるような $s$ を含む最小の集合を特定する。
• ランダムネス不足 $\delta(s|m_p) = -\log p(s|m_p) - K(s|m_p, K(m_p))$ を定義し、モデル $m_p$ の下で $s$ がどれほど典型でないかを測定する。
• 最小記述長 $\lambda_s(\alpha) = \min_{m_p}[-\log p(s|m_p) + K(m_p) : K(m_p) \leq \alpha]$ を導入し、モデルの複雑さが $\leq \alpha$ ビットであるような $s$ の最短の二部コード長を表す。
• 鍵となる恒等式 $\beta_s(\alpha) = h_s(\alpha) + \alpha - K(s) = \lambda_s(\alpha) - K(s)$ を確立し、最小ランダムネス不足、構造関数、MDLの間の対数的加法的項を除いた正式な同等性を示す。

実験結果

リサーチクエスチョン

• RQ1 前綴コルモゴロフ複雑性は、どのようにアルゴリズム的複雑性の普遍的でモデルに依存しない測度を提供するか？
• RQ2 コルモゴロフ構造関数、最小ランダムネス不足、および最小記述長の間にはどのような関係があるか？
• RQ3 なぜランダムネス不足が、モデルの下での文字列の典型性を評価するためのコルモゴロフ複雑性そのものよりも優れた基準であるのか？
• RQ4 最小記述長原理は、損失圧縮において最小ランダムネス不足をどの程度近似できるか？
• RQ5 $h_s(\alpha)$、$\beta_s(\alpha)$、$\lambda_s(\alpha)$ の理論的構造どうしがどのように関係しているか、そしてそれらの等価性が対数的項の差異を除いて成立する意義は何か？

主な発見

• コルモゴロフ構造関数 $h_s(\alpha)$ は非増加であり、常に $h_s(\alpha) + \alpha \geq K(s) - O(1)$ を満たし、最適なモデル選択のもとで等号が成立する可能性がある。
• 任意の文字列 $s$ に対して、長さ $n$ の文字列の大部分は $n$ に近いコルモゴロフ複雑性を持つ。なぜなら、複雑さが $n - c$ より小さい文字列は $2^{n-c}$ 個未満であるからである。
• 最小ランダムネス不足 $\beta_s(\alpha)$ は、$K(m_p) \leq \alpha$ を満たすすべてのモデル $m_p$ における $\delta(s|m_p)$ の最小値として定義され、圧縮された文字列と元の文字列を区別するのがどれほど困難かを測定する。
• 最小記述長 $\lambda_s(\alpha)$ は、複雑さが $\leq \alpha$ ビットであるモデルを用いた $s$ の最短の二部コード長を表し、対数的項の差異を除いて $\lambda_s(\alpha) = \beta_s(\alpha) + K(s)$ を満たす。
• 恒等式 $\beta_s(\alpha) = h_s(\alpha) + \alpha - K(s) = \lambda_s(\alpha) - K(s)$ は、引数および値の両方において対数的加法的項を除いて成立し、三つの概念の深い理論的同等性を確立する。
• 記述長を最小化するモデルは、ランダムネス不足を最小化するが、逆は必ずしも成り立たない。これは、典型性と圧縮の文脈においてMDLが最適であることを示唆している。