[論文レビュー] Extracting the Kolmogorov Complexity of Strings and Sequences from Sources with Limited Independence

Marius Zimand|ArXiv.org|Feb 12, 2009

Computability, Logic, AI Algorithms参考文献 8被引用数 7

ひとこと要約

この論文は、2つの情報源が線形的依存性を示しても、文字列や系列のコルモゴロフ次元が実際に向上できることを示している。これは、先行研究で求められていた厳密な独立性の要件を著しく緩和したものである。平衡テーブルに基づく新しい構成と、情報重複における有界な依存性を活用することで、均一な真理表還元を用いて、入力のランダムネスレートを超えてランダムネスレートを向上させることができることを示している。これは、依存性が $ n^\alpha $ に達する場合 ($ \alpha < 1 $) であっても成り立つ。

ABSTRACT

An infinite binary sequence has randomness rate at least $σ$ if, for almost every $n$, the Kolmogorov complexity of its prefix of length $n$ is at least $σn$. It is known that for every rational $σ\in (0,1)$, on one hand, there exists sequences with randomness rate $σ$ that can not be effectively transformed into a sequence with randomness rate higher than $σ$ and, on the other hand, any two independent sequences with randomness rate $σ$ can be transformed into a sequence with randomness rate higher than $σ$. We show that the latter result holds even if the two input sequences have linear dependency (which, informally speaking, means that all prefixes of length $n$ of the two sequences have in common a constant fraction of their information). The similar problem is studied for finite strings. It is shown that from any two strings with sufficiently large Kolmogorov complexity and sufficiently small dependence, one can effectively construct a string that is random even conditioned by any one of the input strings.

研究の動機と目的

• ランダムネスレートを、完全に独立でないが制限された独立性を示す2つの情報源から効果的に向上させることができるか、という根本的な問いに答えること。
• 2つの系列間の最大依存度（$ d(n) $ で測定）を同定し、それが依然として高いコルモゴロフ次元の効果的抽出を可能にするかを明らかにすること。
• 入力系列が一定の割合の情報を共有する（線形的依存性がある）場合でも、ランダムネスレートを向上させる均一な真理表還元を構築すること。
• 情報源が完全に独立でない状況におけるランダムネス抽出の理論的基盤を確立し、実世界のデータソースへの応用可能性を広げること。
• 確率的組合せ論を用いた構成的手法により、部分長方形にわたる色パターンの分布が均一になるように保証する平衡テーブルを構築し、信頼性の高い抽出を可能にすること。

提案手法

• 2つの文字列間の依存度を、$ \text{dep}(x,y) = K(x) + K(y) - K(xy) $ という式で定義し、コルモゴロフ次元を用いて共有情報量を測定する。
• 任意の色部分集合（サイズ $ M/D $）が、$ B_1 \times B_2 $ の長方形内に過剰に集中しないような、$ (S,D) $-平衡テーブル $ T: [N] \times [N] \to [M] $ の概念を導入する。
• 確率的補題を用いて、$ S^2 > 3M + 3M\ln D + 6SD + 6SD\ln(N/S) $ の条件下で、このような平衡テーブルが存在することを証明し、色の分布の均一性を保証する。
• 平衡テーブルを用いた真理表還元を構築し、有界な依存性を持つ2つの入力系列から、出力のランダムネスレートが入力レートを上回る新しい系列を抽出する。
• 2オラクルチューリングマシン $ M_f $ として還元を表現し、$ \tau, \sigma, 1^n $ を入力とし、両方の入力系列へのオラクルアクセスを用いて、抽出された系列の $ n $ 番目のビットを出力する。
• 任意の $ \tau > 0 $、$ \delta > 0 $、$ \alpha < 1 $ に対して、入力系列の依存度が $ d(n) = n^\alpha $ の場合に、ランダムネスレートを少なくとも $ \tau + \delta $ まで向上させる還元が存在することを証明する。

実験結果

リサーチクエスチョン

• RQ1 入力ソースが完全に独立でないが線形的依存性を示す場合、系列のランダムネスレートを実際に向上させることができるか？
• RQ2 2つの系列間の最大依存度 $ d(n) $ は何か？ その依存度でも、高いコルモゴロフ次元の効果的抽出が可能か？
• RQ3 依存度 $ d(n) = n^\alpha $（$ \alpha < 1 $）を示す2つの系列から、均一な真理表還元を用いてランダムネスレートを向上させることは可能か？
• RQ4 平衡テーブルを用いて、部分長方形にわたる情報の分布を均一に保つことは可能か？ これにより、信頼性の高いランダムビットの抽出が可能になるか？
• RQ5 平衡テーブルの存在が、入力系列の1つに対して条件付けられた場合でも、抽出された系列が高いコルモゴロフ次元を維持することを保証するか？

主な発見

• 任意の $ \tau > 0 $ および $ \delta > 0 $ に対して、ランダムネスレートが少なくとも $ \tau $ で、依存度が $ d(n) = n^\alpha $（任意の $ \alpha < 1 $）である2つの系列から、真理表還元によりランダムネスレートを少なくとも $ \tau + \delta $ まで向上させることができる。
• 還元はパrameters $ \tau $ と $ \sigma $ に関して均一であるため、同じ $ \tau $ と $ \sigma $ を持つすべての入力に対して同じマシンが使用可能であり、実用的応用性が向上する。
• $ S^2 > 3M + 3M\ln D + 6SD + 6SD\ln(N/S) $ を満たす限り、$ (S,D) $-平衡テーブルが存在し、これにより任意の部分長方形に特定の色部分集合が過剰に集中することを防げる。
• 依存度が $ d(n) = n^\alpha $ であっても、構成法により抽出された系列のコルモゴロフ次元が最大に近くなることが保証され、入力レートを実際に上回るランダムネスレートの向上が達成される。
• この方法により、抽出された系列は、入力系列の1つに対して条件付けられた場合でもランダム性を保ち続ける。これは、ランダムネス抽出やデランドマイゼーションの応用において重要な性質である。
• 確率的構成とチェルノフの不等式を用いることで、限られた独立性のもとでも信頼性のある抽出を可能にする平衡テーブルの存在が確立された。