[論文レビュー] Possibilities and impossibilities in Kolmogorov complexity extraction

Marius Zimand|arXiv (Cornell University)|Apr 5, 2011

Computability, Logic, AI Algorithms参考文献 30被引用数 13

ひとこと要約

この論文は、コルモゴロフ複雑度をランダムネスの尺度として用いて、低品質なソースから高品質なランダムネスを抽出する理論的限界を調査する。コルモゴロフ抽出器と呼ばれる計算可能関数の存在を確立し、複数の入力文字列から条件付き複雑度が高くなる文字列を抽出可能である一方で、独立性の強化や計算可能集合への到達の根本的不可能性を示している。

ABSTRACT

Randomness extraction is the process of constructing a source of randomness of high quality from one or several sources of randomness of lower quality. The problem can be modeled using probability distributions and min-entropy to measure their quality and also by using individual strings and Kolmogorov complexity to measure their quality. Complexity theorists are more familiar with the first approach. In this paper we survey the second approach. We present the connection between extractors and Kolmogorov extractors and the basic positive and negative results concerning Kolmogorov complexity extraction.

研究の動機と目的

• 複数の低複雑度文字列から計算可能関数を用いて高複雑度ランダムネスを抽出する可能性を調査すること。
• 最小エントロピーではなくコルモゴロフ複雑度を尺度とした場合のランダムネス抽出の理論的境界を明確にすること。
• 確率分布における抽出器と個々の文字列におけるコルモゴロフ抽出器との間の関係を確立すること。
• 有効関数を用いた有限文字列におけるランダムネス品質や独立性の向上の限界を分析すること。
• コルモゴロフ抽出器の複雑性理論への応用を示し、従属文字列集合の下界や独立性の強化の不可能性を示すこと。

提案手法

• 個々の文字列におけるランダムネス品質の尺度として、プレーンコルモゴロフ複雑度 C(x) と条件付き複雑度 C(x|y) を用いる。
• コルモゴロフ抽出器を、入力文字列 (x1,…,xt) を受け取り、ある入力で条件付けられた場合でも高複雑度の出力文字列を生成する計算可能関数 f として定義する。
• ランダムネス不足と文字列間の依存性の概念を用いて、有効抽出の限界を分析する。
• 代表的な出力文字列の逆像の数に基づく数え上げ的議論を用い、従属文字列集合のサイズの下界を導出する。
• 「依存の呪い」定理を用いて、特に独立性の強化に関して不可能性結果を証明する。
• 抽出器の性質を活用し、コルモゴロフ抽出器が特定の計算可能集合に到達できないことを示し、複雑性理論における構造的洞察を得る。

実験結果

リサーチクエスチョン

• RQ1 複数の低複雑度入力文字列から計算可能関数を用いて高複雑度文字列を有効に抽出できるか？
• RQ2 コルモゴロフ複雑度で測定した場合のランダムネス品質の向上における根本的限界は何か？
• RQ3 計算可能関数を用いて2つの文字列間の依存性を有効に低減できるか（独立性の強化）？
• RQ4 コルモゴロフ抽出器は計算可能文字列部分集合とどのように作用し、どのような到達性特性を示すか？
• RQ5 与えられた複雑度クラスにおいて、「抽出に不適」な文字列の数の定量的下界は何か？

主な発見

• 入力 (x,y) が S_{k,α} に属する場合、条件付き複雑度が m - α - O(1) となるような計算可能関数（コルモゴロフ抽出器）が存在し、m ≈ k で、ある入力で条件付けられた場合でも成立する。
• 抽出器の出力複雑度が集合 A の文字列の複雑度を上回る限り、コルモゴロフ抽出器は、|A^{=n}| 個の文字列からなる計算可能集合 A に一切到達できない。
• C(y|n) - C(y|x) ≥ α を満たす文字列 y の数 |B_{x,α}| に対して、下界 |B_{x,α}| ≥ (1/C)2^{n−α} - poly(n)2^α が確立され、標準的手法から 1/poly(n) の余剰要因を排除した改良がなされた。
• S_{k,α} に属する文字列に対して、依存性を α - O(log α) 未満に低減する有効関数が存在すれば、「依存の呪い」定理に矛盾するため、独立性の強化は不可能である。
• 任意のコルモゴロフ抽出器 E に対して、E が {x} × {0,1}^n に制限された場合、z の逆像の数が 2^{n−m} 以上であるような文字列 z が存在することを証明した。これは、入力の顕著な割合が「抽出に不適」であることを示している。
• コルモゴロフ抽出器の存在は、ランダムネス不足を有効に低減できることを示唆するが、これは入力の固有の依存構造が許す限界までに限定され、それ以上には拡張できない。