[論文レビュー] Shannon Information and Kolmogorov Complexity

Peter Grünwald, Paul Vitányi|arXiv (Cornell University)|Oct 1, 2004

Computability, Logic, AI Algorithms参考文献 21被引用数 138

ひとこと要約

この論文は、シャノン情報理論とコルモゴロフ複雑度の包括的比較を提供し、エントロピー対アルゴリズム的複雑度、確率的対アルゴリズム的相互情報量、レート・ドレステーション対構造関数という、基礎的概念の対比を明らかにする。同時に、期待値としてのアルゴリズム的相互情報量が確率的相互情報量に等しくなること、および、マークフ過程を含む豊かなクラスのソースに対して普遍的コードが存在することを示している。

ABSTRACT

We compare the elementary theories of Shannon information and Kolmogorov complexity, the extent to which they have a common purpose, and where they are fundamentally different. We discuss and relate the basic notions of both theories: Shannon entropy versus Kolmogorov complexity, the relation of both to universal coding, Shannon mutual information versus Kolmogorov (`algorithmic') mutual information, probabilistic sufficient statistic versus algorithmic sufficient statistic (related to lossy compression in the Shannon theory versus meaningful information in the Kolmogorov theory), and rate distortion theory versus Kolmogorov's structure function. Part of the material has appeared in print before, scattered through various publications, but this is the first comprehensive systematic comparison. The last mentioned relations are new.

研究の動機と目的

• シャノン情報理論とコルモゴロフ複雑度のコアな概念を体系的に比較し、共通の目的と根本的な相違点を強調すること。
• 確率的概念（例：エントロピー、相互情報量）とアルゴリズム的概念（例：コルモゴロフ複雑度、アルゴリズム的相互情報量）の関係を明確にすること。
• 期待値としてのアルゴリズム的相互情報量が確率的相互情報量に等しいことを確立し、両理論を橋渡しすること。
• シャノン理論におけるレート・ドレステーション理論をコルモゴロフの構造関数に関連付け、期待値としての一致を示すこと。
• i.i.d. ベルヌーイ源などの豊かなソースクラスに対して、最適な期待符号長を達成する普遍的コードの存在を示すこと。

提案手法

• シャノンのエントロピーとコルモゴロフ複雑度を情報の尺度として定義・比較し、シャノンのエントロピーがソースの分布に依存するのに対し、コルモゴロフ複雑度が対象そのものに依存することを強調すること。
• 二段階符号化方式による普遍的コードの導入：まずモデルのインデックス（例：分布パラメータ）をプレフィックス符号で符号化し、次にそのモデルに最適な符号でデータを符号化すること。
• 与えられたクラスに属する任意のソースに対して、二段階の普遍的コードの期待符号長が、シャノン＝ファン符号長に対してO(log n)の範囲内に収まる、という証明を行い、普遍的コードの条件を満たすことを示すこと。
• 普遍的コードフレームワークを用いて、二つの対象間の期待アルゴリズム的相互情報量が、それらの確率的相互情報量に等しいことを確立すること。
• シャノン理論におけるレート・ドレステーション関数を、コルモゴロフ複雑度における期待構造関数に関連付け、期待値として一致することを示すこと。
• 普遍的コード構成を用いて、i.i.d. ベルヌーイ源に対して平均符号長がエントロピーH(p,1−p)に収束することを示し、非可算なソースクラスに対しても普遍性が成立することを証明すること。

実験結果

リサーチクエスチョン

• RQ1 シャノンのエントロピーとコルモゴロフ複雑度は、個々の対象と集合的ソースの両者における情報量の扱い方において、どのように比較されるか？
• RQ2 確率的相互情報量とアルゴリズム的相互情報量の関係は何か？また、どのような条件下でこれらが一致するか？
• RQ3 ベルヌーイ過程のような豊かなソースクラス（例：マークフ過程）に対して、最適な期待符号長を達成する普遍的コードを構築可能か？
• RQ4 シャノン理論におけるレート・ドレステーション理論は、コルモゴロフ複雑度理論における構造関数とどのように関係するか？
• RQ5 二段階の普遍的コードフレームワークは、個々の列と平均ケースの両方において最適性にどの程度到達できるか？

主な発見

• 二つの対象間の期待アルゴリズム的相互情報量は、それらの確率的相互情報量に等しくなる。これは、両理論の間の根本的な橋渡しを確立する。
• 二段階の普遍的コードは、与えられたクラスに属する任意のソースに対して、期待符号長が最適なシャノン＝ファン符号長に対してO(log n)の範囲内に収まる。これは、普遍的コードの条件を満たす。
• バイアスpのi.i.d. ベルヌーイ源に対して、普遍的コードの平均符号長はエントロピーH(p,1−p)に収束する。これは、非可算なソースクラスに対しても普遍性が成立することを証明する。
• コルモゴロフ複雑度における期待構造関数は、レート・ドレステーション理論における歪み-レート関数に等しい。これは、損失あり圧縮とアルゴリズム的十分統計の間の深い等価性を示している。
• 各順序のすべてのマークフソースのクラスに対して、普遍的コードが存在する。これにより、リアルタイムでの符号化と復号が可能となり、近似的に最適な性能が達成される。
• 集合、関数、または分布のコルモゴロフ複雑度は、アルゴリズム的十分統計を介して定義可能であり、ランダムネスを超えた意味のある情報を捉えることができる。